Un LLM ha imparato a seguire etichette di ricompensa sbagliate

Capovolgi i punteggi nella memoria dell’agente e GPT-6 Sol si adegua: nelle ultime sei prove di un test, è sceso da 94,4 risposte corrette su 100 a 7,8 quando le etichette venivano invertite¹.

L’esperimento ha usato un compito sintetico di spedizioni. Ogni prova mostrava un ordine inventato e quattro rotte tra cui scegliere: Kiwi, Plum, Fig, Lime. Una regola nascosta decideva la rotta giusta. Il modello doveva inferirla dalle prove passate e dai punteggi associati ai tentativi precedenti, memorizzati e riproposti nel contesto¹.

Il protocollo confrontava le prime sei prove di ogni run con le ultime sei per misurare come i modelli cambiassero comportamento quando le etichette di ricompensa restavano corrette o venivano capovolte. Molti team memorizzano i tentativi dell’agente, assegnano un punteggio a ciascuno e lo ripropongono alla successiva iterazione. Il punteggio è una “ricompensa” scritta accanto all’azione. L’ipotesi di lavoro è che il modello legga quei numeri e ripeta ciò che ha funzionato. Il test ha messo alla prova proprio quell’ipotesi, ribaltando le etichette¹.

Con etichette vere, GPT-6 Sol ha imparato rapidamente la regola. Nelle ultime sei prove ha risposto correttamente 94,4 volte su 100. Quando le etichette venivano invertite, ha seguito quelle indicazioni e ha sbagliato: 7,8 su 100. Stesso setup, traiettorie opposte: il segno del punteggio mostrato in contesto ha guidato il comportamento¹.

L’effetto non è stato uniforme tra i modelli. Con etichette corrette, Claude Haiku 5.5 è passato da 21,1 a 37,2 risposte corrette nelle ultime prove. Un miglioramento, ma lontano dal salto visto con GPT-6 Sol. Qwen3 4B Instruct è rimasto vicino a 32,8 e non ha mostrato variazioni sensibili quando le etichette cambiavano. In sintesi, il peso dei punteggi in memoria è risultato alto per un modello, modesto o nullo per gli altri due¹.

Il quadro si complica con un lavoro separato. Un paper intitolato “Do LLMs Learn from Rewards in Context?”, sottomesso l’8 ottobre 2026, riporta qualcosa di diverso. L’abstract, citato dall’autore, afferma che capovolgere, randomizzare o rimuovere ricompense ha cambiato le curve di miglioramento, in modo non allineato all’effetto forte osservato su GPT-6 Sol nel test descritto¹.

La distanza tra le due evidenze conta. Nel test sui percorsi di consegna, un modello ha preso alla lettera le etichette errate e ha sbagliato sistematicamente. Gli altri due non hanno seguito con la stessa prontezza i punteggi nel contesto. Il paper citato, invece, descrive dinamiche di apprendimento che reagiscono in modo diverso quando le ricompense vengono manipolate o rimosse. La discrepanza suggerisce che il comportamento osservato può dipendere dal modello e dal compito presentato¹.

Restano domande aperte. Quanto regge l’effetto su compiti più complessi di una scelta tra quattro rotte? E cosa succede quando log con punteggi accompagnano davvero gli agenti tra un tentativo e l’altro, come avviene in molti team? Il test mostra che invertire poche etichette può deviare un modello in modo netto, almeno in un caso. Capire quando questo accade, e quando no, diventa una priorità per chi progetta agenti che imparano dal contesto¹.