Un harness comportamentale trasforma GPT-6 Luna e taglia i costi

Il 13 ottobre 2026 un esperimento su martinfowler.com mostra che un “behavioral harness” porta GPT-6 Luna da 3 successi su 10 a 10 su 10, con un costo per run di 0,273 dollari contro 0,406 di GPT-6 Sol¹.

L’autore ha costruito lo stesso servizio API con agenti di coding in due condizioni: con harness e senza. Ha testato due profili: GPT-6 Luna, ottimizzato per il costo, e GPT-6 Sol, definito “frontier”. Sol ha superato tutte le valutazioni esterne in entrambi gli scenari. Luna è passata da 3 esiti positivi su 10 senza harness a 10 su 10 con harness¹.

Il punto economico è chiaro. I costi dichiarati sono costi per run, espressi in dollari. Nella configurazione con harness, Luna ha raggiunto la stessa affidabilità di Sol nelle verifiche esterne, 10 su 10, pagando meno per ogni esecuzione: 0,273 dollari contro 0,406. A parità di affidabilità, il confronto resta sul costo per run, non su un costo per “esecuzione affidabile” distinto¹.

L’harness non ha reso il sistema più leggero. Ha aumentato l’uso di token e il tempo di esecuzione. L’effetto, però, dipende dal modello. Nel caso di Luna, l’aumento di risorse ha coinciso con il salto di affidabilità, fino a eguagliare Sol, e con un costo per run inferiore a Sol. Nel caso di Sol, già affidabile senza supporto, l’harness non ha cambiato l’esito, solo il consumo di risorse e la spesa¹.

I numeri di Sol sono netti. Con l’harness il sistema ha usato circa 10,5 volte più token, ha impiegato quasi tre volte più tempo e ha costato circa sette volte di più. Senza harness o con harness, Sol ha sempre superato le valutazioni esterne. Qui l’harness è risultato ridondante sul piano dell’affidabilità, ma incisivo su tempi e costi¹.

Le aspettative iniziali erano diverse. L’ipotesi era che un harness aiutasse l’agente a rispettare i requisiti al primo tentativo, risparmiando token ed evitando lavoro sprecato. La ricetta includeva contratti architetturali chiari e feedback di test deterministici durante la scrittura del codice. L’obiettivo: orientare il processo mentre l’agente sviluppa, con verifiche puntuali e criteri espliciti per misurare i progressi¹.

Il risultato suggerisce una soglia di utilità. Su modelli già capaci di superare le verifiche senza guida, come Sol, l’harness pesa in termini di token, runtime e costo, senza benefici sull’esito. Su modelli più piccoli e ottimizzati per il costo, come Luna, l’harness cambia la curva: da 3 passaggi su 10 a 10 su 10, mantenendo un costo per run inferiore rispetto al “frontier” preso a riferimento¹.

La scelta operativa che emerge è pragmatica: quando l’obiettivo è un esito affidabile e il budget conta, vale testare un harness su modelli meno costosi prima di salire di taglia. Nel caso documentato, Luna con harness ha eguagliato l’affidabilità di Sol e ha contenuto la spesa per esecuzione, pur con più token e runtime. Questo apre spazio a pipeline che selezionano dinamicamente il profilo di modello e l’uso dell’harness in base al compito e al vincolo di costo, invece di applicare sempre lo stesso modello a ogni richiesta¹.