Qwen3.8-27B risponde correttamente a 167/169 somme in parola

Su un DGX Spark, Qwen3.8‑27B‑Q4_K_M.gguf con ragionamento attivo ha restituito la somma “in parole” corretta in 167 casi su 169. Nel test originale su Bluesky, GPT‑4o aveva commesso “molti” errori sulla stessa griglia di problemi. Il nuovo esito segnala una forte tenuta del modello locale su quel compito specifico¹.

L’esperimento replica il lavoro di Colin Frasier: “calcolare la somma ma restituire la risposta in parole” su una matrice di coppie di numeri. Frasier aveva pubblicato un grafico con le performance di GPT‑4o. Simon Willison riprende la stessa immagine, imposta l’ambiente locale e rifà il test con Qwen3.8‑27B‑Q4_K_M.gguf. Nelle sue note osserva che, nel caso GPT‑4o, non sembrano esserci strumenti esterni di calcolo, “anche perché ha sbagliato molte delle operazioni”¹.

La metodologia è unica e compatta. Willison costruisce una heatmap binaria della correttezza: ogni cella è giusta o sbagliata. Con ragionamento disabilitato usa 30 tentativi per combinazione. Con ragionamento abilitato esegue un solo tentativo per cella, per via dei tempi più lunghi. Avverte che i risultati “one‑shot” possono variare a un rerun. Lo scopo è misurare lo stesso compito, con le stesse tracce di input, in un ambiente controllato¹.

Nel setting con ragionamento attivo, Qwen3.8‑27B centra 167 risposte su 169. Willison sottolinea il limite statistico dell’unico campione per cella e invita a leggere il dato con cautela. Ma la differenza tra le due modalità è netta: il ragionamento acceso migliora l’accuratezza sul compito “somma in parole” rispetto alla modalità senza ragionamento testata sulla stessa griglia¹.

Willison pubblica anche una versione del report con tracce di ragionamento per alcuni dei casi più grandi. Le tracce mostrano passo per passo come il modello affronta la richiesta “calcolare la somma ma restituire la risposta in parole” e dove eventualmente inciampa. Il materiale consente di collegare ogni cella della heatmap a un percorso argomentativo del modello¹.

La ripetizione in locale del test nasce da due esigenze: verificare l’ipotesi che nel caso GPT‑4o non ci fosse una calcolatrice “dietro le quinte” e osservare l’effetto del ragionamento esplicito su uno stesso set di prompt, sotto vincoli chiari e replicabili. Il confronto si appoggia all’immagine di Frasier come riferimento, non come benchmark esaustivo¹.

Il prossimo passo è tecnico e operativo: estendere i rerun con più campioni per cella o ampliare la griglia, così da misurare stabilità e limiti del “ragionamento” in locale su compiti aritmetici espressi in linguaggio naturale. In gioco non c’è solo il punteggio 167/169, ma la possibilità di disporre di test ripetibili che isolino il contributo del ragionamento senza ricorrere a strumenti esterni¹.