Xaira: più dati causali per sbloccare i modelli che predicono l'espressione genica
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Aumentando di circa 30× l'informazione nei dataset, i team di Ci Chu e Bo Wang hanno superato un 'information gap' che impediva la scalabilità dei modelli per la scoperta di farmaci.
A 1,5 miliardi di parametri la loss di test si è appiattita, mentre quella di training continuava a scendere: il limite era l’informazione nei dati, non l’architettura. In pratica, il modello imparava sempre meglio i dati di addestramento ma non migliorava su esempi nuovi. Segnale classico di scarsa generalizzazione1.
L’addestramento su un singolo dataset relativamente piccolo ha aperto un “information gap”. Un modello da 3,1 miliardi di parametri è uscito dalla curva di scaling. Aggiungere parametri o compute non ha migliorato le previsioni dei cambiamenti nell’espressione genica. La scala, da sola, non bastava1.
I team guidati da Ci Chu e Bo Wang hanno cambiato leva. Hanno costruito dataset con circa 30 volte più informazione. Con questo salto, i modelli hanno ripreso a scalare: più parametri e più compute tornavano a tradursi in performance migliori durante il training. “Bet on information” riassume la mossa1.
Il punto è operativo: quando i dati contengono più informazione rilevante, la relazione tra dimensione del modello, compute e performance si riallinea. Senza quel surplus, la generalizzazione si blocca e la curva esce dal trend atteso1.
La fonte fornisce anche ordini di grandezza dei costi, esplicitamente come stime non ufficiali emerse nel podcast. La raccolta dei dati e l’infrastruttura potrebbero essere costate alcune decine di milioni. Compute, organico e ricerca avrebbero richiesto alcuni milioni. Il profilo di spesa somiglia più a un rollout di reinforcement learning che a un pre-training su grandi corpus generici1.
Xaira Therapeutics sta scommettendo su dati più informativi come chiave per lo sviluppo di farmaci con AI. L’intervista con i due protagonisti è avvenuta in un podcast. Ci Chu è stata promossa Chief Discovery Officer e Bo Wang è Chief AI Scientist1.
“Causal models need causal data” è la sintesi che gli autori portano a casa. Prima il limite con un dataset piccolo. Poi l’investimento per aumentare l’informazione di circa 30 volte. Infine il ritorno della scala come motore di miglioramento1.
Resta un’incertezza dichiarata: i costi precisi non sono pubblici. La fonte collega però il comportamento delle curve al salto informativo, non a un incremento di potenza di calcolo o di parametri. Se i budget maggiori vanno a esperimenti e infrastruttura, il collo di bottiglia si sposta dai modelli ai dati: un vincolo che orienta le prossime decisioni di ricerca e prodotto1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.