NVIDIA e IIT Madras annunciano Nemotron-pretraining-Indic-v1: circa 2,8 trilioni di token in 22 lingue, rilascio “presto disponibile”
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Il progetto Nemotron-pretraining-Indic-v1, sviluppato con AI4Bharat, include il dataset e la pipeline GPU-accelerata open che mostra prompt, workflow LLM e controlli qualità per riprodurre la generazione dei dati.
Nemotron-pretraining-Indic-v1 raccoglie circa 2,8 trilioni di token in 22 lingue indiane. L’annuncio, pubblicato su Hugging Face, parla di rilascio “releasing soon”1.
Accanto al corpus arriva la pipeline completa di generazione dati. Gli autori descrivono una ricetta documentata: prompt, workflow basati su modelli linguistici di grandi dimensioni, controlli qualità. La pipeline è aperta, sfrutta l’accelerazione GPU e si può adattare a materiali propri per creare nuovo testo con gli stessi passaggi1.
La copertura linguistica segue l’elenco costituzionale: 22 lingue considerate prima lingua per il 97% della popolazione, circa 1,2 miliardi di persone al censimento del 2011. L’obiettivo dichiarato è fornire una risorsa di grande scala per l’addestramento di modelli nelle lingue indiane. Gli autori insistono sul volume del corpus, “circa 2,8 trilioni di token”, e sulla replicabilità della pipeline1.
Il progetto nasce dalla collaborazione tra NVIDIA, l’IIT Madras e il laboratorio AI4Bharat. Il post su Hugging Face porta firme di AI4Bharat e NVIDIA. Tra i nomi citati compaiono, per AI4Bharat, Mohammed Safi Ur Rahman Khan, Mitesh Khapra, Anoop Kunchukuttan, e per NVIDIA Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen, Utkarsh Vaidya. Il testo presenta l’IIT Madras come principale istituto di ingegneria dell’India e AI4Bharat come il laboratorio dell’ateneo dedicato alle lingue indiane1.
Non c’è solo l’annuncio del corpus. Gli autori promettono l’accesso alla stessa pipeline usata in fase di pretraining, con documentazione pubblica dei passaggi e controlli. L’idea: chi lavora su dati locali può replicare il processo, adattarlo a proprie fonti, validare gli esiti con criteri espliciti1.
Nel post compare anche il riferimento a progetti precedenti. AI4Bharat cita, tra gli esempi, Sangraha, a conferma di un lavoro già condiviso con la comunità di ricerca sulle lingue indiane1.
Sui tempi gli autori restano prudenti: “releasing soon”. La formula riguarda sia il corpus sia la pipeline. Non compaiono date precise o finestre temporali più strette nel testo dell’annuncio1.
Per chi costruisce modelli nelle lingue indiane, i punti chiave sono due: ampiezza e copertura del materiale, più la disponibilità di una ricetta completa e riutilizzabile. La combinazione mira ad abbassare la soglia di ingresso per il pretraining multilingue e a standardizzare i passaggi di generazione e controllo dati1.
La risposta ora passa ai team che lavorano su fonti locali. Se adotteranno la pipeline sui propri corpora, sarà possibile misurare l’impatto sui modelli per le lingue indiane, con confronti più diretti tra approcci e qualità dei dati1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.