Il MIT usa GPT-6 Astra per modificare i pesi di Qwen e migliorarne la matematica

Il MIT CSAIL ha usato GPT-6 Astra di OpenAI per editare direttamente i pesi di Qwen3.5-0.8B. Il punteggio sul benchmark MATH-500 è salito dal 7,9% al 48,1% dopo l’intervento. Gli autori parlano di un aumento di circa sei volte. Hanno toccato lo 0,016% dei pesi del modello, i parametri numerici che ne governano il comportamento¹.

Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab hanno pubblicato il lavoro il 2 novembre in un post di ricerca. Chiamano l’approccio “weight-space programming”. In breve, chiedono a un grande modello linguistico di leggere e modificare un’altra rete, senza training convenzionale per produrre gli edit. Astra interpreta l’architettura e propone cambi mirati dentro la rete più piccola¹.

Il caso più solido nel post riguarda Qwen3.5-0.8B, un modello open source e compatto. Qui Astra ha corretto per lo più il ragionamento ripetitivo. Questa distinzione, scrivono, spiega la gran parte del salto su MATH-500 e ha orientato anche il dibattito su cosa significhi la prova. Non è un upgrade generale di tutte le capacità. È un intervento localizzato su un difetto specifico del processo di ragionamento¹.

Gli esperimenti puntano a una possibilità più ampia: sistemi di IA che ispezionano, riparano e costruiscono altre reti agendo sulla loro meccanica interna. Non come trainer classici, ma come editor del peso, nodo per nodo. Gli autori hanno testato la capacità di Astra di proporre edit senza ricorrere a procedure standard di ottimizzazione. Hanno poi applicato selettivamente questi edit ai pesi del modello di destinazione¹.

Le reazioni pubbliche hanno sottolineato l’originalità del metodo. “This is cool as heck!”, ha scritto su X Yuchen Jin, oggi nel team tecnico di Databricks ed ex cofondatore e CTO di Hyperbolic Labs, non affiliato alla ricerca. “Imagine using a large LLM to directly edit a smaller model's weights and dramatically improve its capabilities. It's like gene editing for neural networks. Even cooler than distillation!” Chandan Singh, ricercatore di Voyage AI ed ex Microsoft AI, ha commentato: “For anyone questioning whether this post is overhyped, I think they are actually underselling the approach.” Entrambi fanno risaltare l’analogia con l’editing di genomi e la differenza rispetto alla distillazione¹.

Il post non propone un toolkit pronto. Mostra un metodo e la misura dell’effetto in un contesto specifico. Soprattutto, mette sul tavolo un canale diverso per intervenire sui modelli: non riscrivere i dati, non rifare l’addestramento, ma programmare direttamente lo spazio dei pesi. La soglia tecnica è alta, ma il risultato su Qwen3.5-0.8B indica un margine di manovra concreto, con un tocco minimo sulla rete e un guadagno netto su un compito delimitato¹.

Resta da capire che cosa succede fuori dalla matematica e oltre il ragionamento ripetitivo. Se la programmazione nello spazio dei pesi tiene anche su altri difetti, il campo si allarga: audit automatici dei modelli, patch a basso costo, e forse nuovi cicli di sviluppo dentro le stesse reti neurali¹.