NeoMME unifica testo e immagini in un solo Transformer e accelera il retrieval

NeoMME da 260 milioni di parametri elabora circa 51 pagine al secondo a 2048×2048 su una NVIDIA L40S e comprime l’indice late-interaction fino a 6 kB per pagina, mantenendo oltre il 95% dell’nDCG@10 rispetto al baseline [S1].

NeoMME è una famiglia di encoder multimodali e multilingue in due taglie: 260M e 800M parametri. Non usa una torre visiva separata pre-addestrata. Non appoggia un language model causale. Un singolo Transformer bidirezionale processa sia token testuali sia patch d’immagine raw. L’addestramento parte da zero con un obiettivo di masked discrete-diffusion [S1].

Gli autori lo ottimizzano per il retrieval di documenti visivi con l’approccio page-image di ColPali. La variante NeoMME-Retriever produce in una sola forward pass due uscite: embedding densi e rappresentazioni per late-interaction. Un solo modello, un solo passaggio, due tipi di indice [S1].

Sui benchmark, le due dimensioni del modello si collocano sulla Pareto frontier di ViDoRe v3 per il compromesso tra nDCG@10 e dimensione del modello. La linea è netta: più efficienza a parità di qualità, o più qualità a parità di costo, entro i confini di ViDoRe v3 [S1].

Sul throughput i numeri sono specifici. Con input immagine a 2048×2048 su una GPU NVIDIA L40S, la versione da 260M parametri raggiunge circa 51 pagine al secondo. Nello stesso setting, secondo i dati riportati, è circa due volte più veloce di ColModernVBERT [S1].

Sull’indicizzazione late-interaction, il team applica due tecniche: hierarchical token pooling e asymmetric quantization. L’impatto sullo spazio è netto. Lo storage per pagina scende da circa 1,5 MB a 6 kB. La riduzione è di circa 255×, preservando oltre il 95% dell’nDCG@10 rispetto al riferimento usato dagli autori [S1].

La scelta architetturale è minimale. Un unico Transformer bidirezionale sostituisce la coppia classica visione+linguaggio. Non serve allineare una torre visiva pre-addestrata a un decoder testuale. Non serve orchestrare componenti eterogenee. Il modello gestisce direttamente token di testo e patch d’immagine, con un obiettivo di training unico [S1].

Per il retrieval, questa unificazione ha due effetti pratici. Primo: una sola passata produce sia vettori densi sia segnali per late-interaction, evitando pipeline separate. Secondo: l’indice late-interaction usa pochi kilobyte per pagina, grazie a pooling gerarchico e quantizzazione asimmetrica, con un calo contenuto della qualità misurata in nDCG@10 [S1].

NeoMME è disponibile in Hugging Face Transformers. Gli autori rilasciano tutti i checkpoint con licenza Apache 2.0 [S1].