Tencent rilascia WeVisOne-VL, VLM open per detection, OCR e matting

71,3 F1 su Dense200 e un decoder da 9,6 milioni di parametri che produce maschere e matte senza SAM: il team WeChat Vision presenta WeVisOne-VL, un modello vision-language open in taglie 2B e 4B che unifica detection, referring, conteggio, pointing, OCR, segmentazione e alpha matting in un unico sistema¹.

WeVisOne-VL nasce su base Qwen3-VL e privilegia la localizzazione fine. L’utente sceglie la granularità dell’output: punti, box, maschere binarie o matte continui. Ogni compito diventa una previsione strutturata di token. Il modello introduce token di coordinate, da <0> a <1000>, per esprimere punti e box normalizzati. Quando il target non esiste, risponde “None”. Per i compiti pixel, dopo ogni box emette il token <OBJ>. Lo stato nascosto di <OBJ> diventa la query del decoder che genera la maschera o il matte¹.

Il decoder ha tre componenti. Un Visual Feature Adapter riusa le feature multi-livello del ViT di Qwen3-VL. Un Box-Guided Query Decoder con 6 blocchi di cross-attention deformabile elabora la query guidata dal box. Una Dense Prediction Head rifinisce la previsione a S/4, S/2 e S/1 fino alla risoluzione piena. Le uscite pixel arrivano quindi dal decoder dedicato, 9,6 milioni di parametri, senza modelli separati per la segmentazione¹.

L’addestramento si appoggia a un data engine guidato da knowledge graph. Ha annotato oltre 100 milioni di immagini con circa 3,6 miliardi di box. Le proposte arrivano da SAM3, Rex-Omni e un detector interno. Qwen3-VL le verifica. Il training segue tre fasi SFT: allineamento del formato su 90 milioni di esempi, aumento a 1.960 token visivi e fino a 500 box per risposta, poi addestramento del decoder pixel con specializzazione per il matting su 130 milioni di campioni. Una fase GRPO finale usa 178.000 esempi filtrati per incertezza. Il pretraining supporta fino a 8.192 token di contesto, la lunghezza in deployment non è indicata¹.

Le prestazioni sono auto-riportate, con greedy decoding e massimo 1.960 token visivi per immagine. Il modello 4B registra 71,3 F1 su Dense200 e 55,3 F1 su LVIS. Su RefCOCOg test tocca 81,8 F1. Nel conteggio su PixMo-Count arriva all’89,6% exact-match. Nell’OCR su TotalText ottiene 52,0 F1. Su ReasonSeg val segna 71,2 gIoU. Nel matting su P3M-500-NP con prompt di box misura 7,3 MAD, valore più basso è migliore. La taglia 2B segue la 4B su molti compiti e scende a 6,6 MAD nel matting box-prompted sullo stesso set. Sulle query con target assente, Tencent riporta 96,4% di rejection su WeRef-Bench, mentre PR-Bench rileva il 52,6% di rifiuti: molte query senza target ricevono ancora un box¹.

I pesi sono su Hugging Face: 2,44 miliardi di parametri per 2B e 4,83 miliardi per 4B. La licenza è Apache 2.0. Il pacchetto wevisone_vl supporta backend Transformers e vLLM e gira su una singola GPU in BF16. La pagina elenca anche NPU e CPU. Sono disponibili demo ospitate per 2B e 4B. Tencent ha pubblicato Mask2Alpha, l’annotatore di matting usato nel data engine¹.

Limitazioni. I requisiti di VRAM non sono indicati. Una build community in formato GGUF ha eseguito compiti a livello di oggetto su una RTX 2060 da 6 GB, ma non può produrre maschere perché il decoder richiede feature visive native¹.

La licenza Apache 2.0 e la copertura di compiti eterogenei, dai box ai matte continui, suggeriscono usi produttivi dove LocateAnything-3B impone limiti d’uso non commerciali¹.