ALTK‑Evolve introduce le “consistency guidelines” per colmare il gap di ripetibilità
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Introduce 'consistency guidelines' e un Consistency Analyzer per ridurre i casi in cui un workflow funziona una volta e poi fallisce.
Su AppWorld, un agente ReAct con GPT‑4.1 centra il 77,4% di esecuzioni su cinque run, ma completa tutte e cinque le ripetizioni solo nel 53,0% dei task. Ventiquattro punti di scarto. In demo fa brutta figura; in produzione ferma l’adozione: riconciliazioni di transazioni e verifiche contrattuali non tollerano esiti alterni sulla stessa richiesta1.
Gli autori chiamano questo scarto “consistency gap” e propongono un modo per misurarlo e ridurlo. I benchmark guardano la media e nascondono la variabilità tra run. Qui entra una seconda metrica: la quota di task che riescono in tutte le ripetizioni. È su questo numero che AppWorld evidenzia il problema: alta media, bassa costanza1.
ALTK‑Evolve nasce per distillare dalle traiettorie passate linee guida riutilizzabili, iniettate poi in inferenza. Ha già alzato il tasso di successo medio, ma restava cieco sulla ripetibilità piena. L’estensione annunciata punta dritto al punto debole con un nuovo tipo di linea guida: le “consistency guidelines”1.
Come si costruiscono? Gli autori introducono un unico passaggio diagnostico, il Consistency Analyzer, che isola dove e perché un task crolla tra una ripetizione e l’altra. Da questa analisi derivano linee guida mirate, integrate in ALTK‑Evolve e richiamate al momento dell’esecuzione. Obiettivo dichiarato: chiudere il divario tra media e riuscita completa su più run1.
Il cambio di prospettiva è netto. Non conta solo quante volte un agente riesce in media. Conta quanti task sa ripetere senza errori. “Abbiamo costruito un modo per misurare il secondo — e migliorarlo”, scrivono gli autori1.
Il caso AppWorld mostra bene la posta in gioco: un valore medio elevato può convivere con scarsa consistenza. Senza analisi per ripetizioni, il rischio resta invisibile. Con le consistency guidelines, ALTK‑Evolve mira a intervenire proprio su quella fragilità, traducendo i comportamenti reali dell’agente in istruzioni operative per i run successivi1.
Il tema è operativo, non accademico. Un workflow che passa una volta e fallisce la volta dopo blocca il go‑live di processi sensibili. Gli esempi portati nel post — transazioni finanziarie e obblighi in contratti — chiariscono perché il timing conti: quando il sistema entra in produzione, l’oscillazione tra run diventa costo, ritardo e rischio1.
Gli autori indicano anche come riportare i risultati. Accanto all’accuratezza media, va comunicata la percentuale di task completati in tutte le ripetizioni. Così chi legge un benchmark vede subito se il modello è stabile o se nasconde variabilità che la sola media non cattura1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.