Nvidia: non il modello ma il 'harness' ha fatto ottenere 100% a Claude Opus 5
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Un harness su misura con supervisore e gestione della memoria porta Opus 5 al 100% sul benchmark ARC‑AGI‑3, contro il 30% senza harness.
Un harness su misura ha portato Claude Opus 5 al 100% su ARC‑AGI‑3. Lo stesso modello, senza harness, si fermava al 30%.1
Nvidia ha pubblicato una ricerca con un punto chiaro: nelle attività a lungo orizzonte pesa più l’harness del modello. TechCrunch ha riportato il lavoro e i suoi risultati. I ricercatori hanno usato un harness personalizzato con gestione accorta della memoria e un componente “supervisor”. Con questa impalcatura, Opus 5 ha completato tutte le prove del benchmark interattivo ARC‑AGI‑3. Senza harness, il modello si fermava al 30%, che risultava comunque il miglior punteggio tra i modelli provati.1
Il messaggio operativo è concreto. La scelta del modello conta, ma non esaurisce l’agente. L’harness tiene la memoria, organizza il contesto, instrada il feedback. Insieme al modello, forma l’agente e ne determina l’efficacia nei compiti lunghi.1
Adel El Hallack, vicepresidente prodotto nella divisione AI di Nvidia, osserva che molti confondono l’agente con una semplice API del modello. Per Nvidia un agente include il modello e l’impalcatura che lo orchestra, cioè l’harness. L’esito su ARC‑AGI‑3 riflette questa impostazione: l’orchestrazione può ribaltare la performance a parità di modello.1
ARC‑AGI‑3 richiede interazione e più passaggi. Qui l’harness ha fatto la differenza. La distanza tra il 30% e il 100% sullo stesso modello, nella stessa suite, indica quanto conti la componente di esecuzione. Nvidia lega il salto alla cura della memoria per compiti lunghi e al ruolo di controllo del “supervisor”, due elementi espliciti del progetto.1
La costruzione proposta segue una logica semplice. L’harness spezza il problema in passi gestibili. Conserva lo stato tra un passo e l’altro. Fornisce al modello un contesto stabile e segnali di ritorno coerenti. Così l’agente può pianificare, verificare e correggere. In assenza di questa struttura, il modello resta capace, ma più esposto a errori cumulativi e perdita di contesto.1
Per chi sviluppa agenti, il punto tocca la pratica quotidiana. Investire nell’harness può sbloccare capacità latenti dei modelli esistenti. La scelta del modello resta importante, ma non basta a spiegare differenze ampie su compiti lunghi. Per chi valuta benchmark, c’è un’altra implicazione: i confronti hanno senso solo se descrivono l’impalcatura usata. Senza trasparenza sull’harness, i numeri di punteggio mischiano componenti diverse dello stack e rischiano di fuorviare la lettura dei risultati.1
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.