ThinkJev legge le probabilità prima e dopo il pensiero, così riduce gli errori senza rifare il lavoro

ThinkJev propone un trucco semplice: leggere le stesse probabilità del modello sia prima sia dopo una fase di ragionamento, usando un unico prompt in cache. Così la stessa richiesta produce una decisione rapida in millisecondi oppure una più accurata in secondi, senza doppia inferenza¹.

Lo studio, pubblicato su arXiv il 27 ottobre 2026, parte da un caso comune: la decisione tipizzata. Un sistema sceglie tra opzioni chiuse, e il codice usa le probabilità per agire. Una singola passata del modello è veloce, ma sbaglia spesso quando servono più passaggi, per esempio in aritmetica, conteggio e confronto di date. Lasciare che il modello pensi prima della scelta corregge gran parte di questi errori, a costo di più tempo¹.

Gli autori costruiscono due percorsi su un unico modello “open hybrid-thinking”, capace di rispondere subito o dopo aver pensato. Li chiamano System 1 e System 2. Il primo legge le probabilità sulle lettere che identificano le opzioni quando il modello risponde direttamente. Il secondo legge quelle stesse lettere dopo il ragionamento, sulla stessa richiesta tenuta in cache. L’escalation non ripete lavoro e i due percorsi restituiscono probabilità sullo stesso insieme di opzioni¹.

La scelta di usare lettere stabili per le opzioni regge lungo tutto il ragionamento. Le lettere si possono leggere dopo qualsiasi numero di token di pensiero. Una singola traccia di pensiero campionata fornisce quindi la risposta sotto ogni budget di pensiero. Questo allinea le probabilità tra modalità rapida e lenta e consente di confrontare gli esiti senza rimappare le scelte o cambiare la domanda¹.

Il punto pratico è la gestione del costo. Decidere alla prima passata riduce la latenza, ma su compiti a più passi aumenta il rischio di errore. Far pensare il modello migliora l’accuratezza, ma porta la latenza da millisecondi a secondi. ThinkJev paga il ragionamento solo quando serve, mantenendo continuità tra le due modalità perché legge sempre dallo stesso canale di output, prima e dopo il pensiero¹.

Questo meccanismo si presta a scenari con vincoli variabili di tempo e qualità. Una richiesta può partire in modalità rapida, poi salire di budget se restano dubbi, senza ricostruire il contesto. La sincronizzazione delle lettere evita ambiguità nelle scelte e permette di riusare il lavoro già fatto¹.

La chiusura lascia un vincolo da considerare: il costo in secondi pesa su applicazioni sensibili alla latenza. La lettura delle probabilità a diversi budget offre però un margine operativo, perché una singola traccia di pensiero copre più livelli di tempo. Chi progetta sistemi a scelta chiusa può dosare il ragionamento in base al contesto, sapendo che le probabilità restano comparabili lungo l’intero arco del pensiero¹.