Ricercatori mostrano che i LLM possono essere rallentati inducendo 'overthinking'

Prompt con contraddizioni interne spingono i LLM a “pensare troppo” e ne allungano i tempi di risposta in modo marcato¹.

I modelli recenti non emettono subito la risposta. Prima producono un monologo interno. Scompongono il problema. Valutano strade alternative. Questa strategia ha ampliato i compiti affrontabili, per esempio in coding e matematica¹. Le versioni precedenti tendevano invece a rispondere direttamente, senza un lungo ragionamento invisibile all’utente¹.

La ricerca introduce un punto operativo: quel ragionamento si può deviare. Non è solo un effetto collaterale. Si può provocare di proposito. Bastano incoerenze nel prompt per far allungare la catena di pensiero ben oltre il necessario¹. Il beneficio in accuratezza resta scarso. Il costo in tempo aumenta.

Gli autori usano un termine preciso: “overthinking”¹. Studi precedenti avevano osservato catene molto lunghe, con guadagni limitati nelle prestazioni. Il nuovo risultato aggiunge il “come”: l’overthinking si può innescare in modo sistematico, costruendo richieste che creano contraddizioni da risolvere¹.

L’effetto non migliora la qualità dell’output. Sposta risorse sul processo. I modelli restano bloccati nel monologo interno. Cercano coerenza dove il prompt non la consente. Esplorano più strade. Tornano indietro. Riscrivono spiegazioni. Tutto prima di produrre l’output finale. Il risultato è un rallentamento evidente, fino a rendere poco pratico l’uso in alcuni scenari¹.

Questo apre uno spazio di attacco. Un avversario non deve cambiare il contenuto della risposta. Può pilotare il percorso che porta alla risposta. Le incoerenze costringono il modello ad allargare la ricerca interna. A testare ipotesi e confutarle. A prolungare il “pensiero” prima di chiudere¹.

Il quadro si chiarisce nel confronto tra generazioni. I modelli nuovi si affidano al ragionamento interno e rendono meglio su problemi complessi. Quelli vecchi rispondevano con meno passaggi. Offrivano quindi meno superficie per indurre stalli tramite incoerenze¹. Il progresso ha un effetto collaterale: un percorso decisionale più lungo espone a richieste che lo dilatano.

Per chi costruisce applicazioni su LLM, la lezione riguarda le metriche. Non basta misurare l’accuratezza dell’output. Serve osservare come il modello ci arriva. Il lavoro sposta l’attenzione dal solo risultato al controllo del processo interno di ragionamento, oggi parte integrante delle capacità dei modelli più avanzati¹.

La conseguenza pratica tocca progettazione e monitoraggio. Un sistema che accetta input esterni può diventare lento senza che cambi la correttezza della risposta. La valutazione dovrà includere quanto un prompt incoerente allunga il monologo interno, non solo se l’output è giusto¹.