NeoMME unifica testo e immagini in un solo Transformer e accelera il retrieval
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Encoder multimodale e multilingue disponibile su Hugging Face: 260M e 800M parametri, 51 pagine/s sul modello 260M e indice late-interaction compresso a 6 kB per pagina.
NeoMME da 260 milioni di parametri elabora circa 51 pagine al secondo a 2048×2048 su una NVIDIA L40S e comprime l’indice late-interaction fino a 6 kB per pagina, mantenendo oltre il 95% dell’nDCG@10 rispetto al baseline1.
NeoMME è una famiglia di encoder multimodali e multilingue in due taglie: 260M e 800M parametri. Non usa una torre visiva separata pre-addestrata. Non appoggia un language model causale. Un singolo Transformer bidirezionale processa sia token testuali sia patch d’immagine raw. L’addestramento parte da zero con un obiettivo di masked discrete-diffusion1.
Gli autori lo ottimizzano per il retrieval di documenti visivi con l’approccio page-image di ColPali. La variante NeoMME-Retriever produce in una sola forward pass due uscite: embedding densi e rappresentazioni per late-interaction. Un solo modello, un solo passaggio, due tipi di indice1.
Sui benchmark, le due dimensioni del modello si collocano sulla Pareto frontier di ViDoRe v3 per il compromesso tra nDCG@10 e dimensione del modello. La linea è netta: più efficienza a parità di qualità, o più qualità a parità di costo, entro i confini di ViDoRe v31.
Sul throughput i numeri sono specifici. Con input immagine a 2048×2048 su una GPU NVIDIA L40S, la versione da 260M parametri raggiunge circa 51 pagine al secondo. Nello stesso setting, secondo i dati riportati, è circa due volte più veloce di ColModernVBERT1.
Sull’indicizzazione late-interaction, il team applica due tecniche: hierarchical token pooling e asymmetric quantization. L’impatto sullo spazio è netto. Lo storage per pagina scende da circa 1,5 MB a 6 kB. La riduzione è di circa 255×, preservando oltre il 95% dell’nDCG@10 rispetto al riferimento usato dagli autori1.
La scelta architetturale è minimale. Un unico Transformer bidirezionale sostituisce la coppia classica visione+linguaggio. Non serve allineare una torre visiva pre-addestrata a un decoder testuale. Non serve orchestrare componenti eterogenee. Il modello gestisce direttamente token di testo e patch d’immagine, con un obiettivo di training unico1.
Per il retrieval, questa unificazione ha due effetti pratici. Primo: una sola passata produce sia vettori densi sia segnali per late-interaction, evitando pipeline separate. Secondo: l’indice late-interaction usa pochi kilobyte per pagina, grazie a pooling gerarchico e quantizzazione asimmetrica, con un calo contenuto della qualità misurata in nDCG@101.
NeoMME è disponibile in Hugging Face Transformers. Gli autori rilasciano tutti i checkpoint con licenza Apache 2.01.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.