ttok cambia default: tokenizer GPT‑5/GPT‑6 e via alla 1.0
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Il cambio di default arriva il 9 ottobre 2026 dopo che Willison ha scoperto l'uso del tokenizer sbagliato nella versione precedente.
Il 9 ottobre 2026 l’autore di ttok ha scoperto un errore di default subito dopo aver rilasciato la 0.4: il tool predefiniva il tokenizer di GPT‑4. Aveva eseguito “uv tool upgrade ttok”, passato un file in pipe alla nuova versione e visto il problema. Ha deciso che cambiare il default al tokenizer di GPT‑5/GPT‑6 era motivo sufficiente per “spedire” una 1.01.
Il passaggio nasce da un controllo pratico, non da una nota ufficiale. L’autore scrive che OpenAI non ha ancora confermato che GPT‑6 usi lo stesso tokenizer della famiglia GPT‑5. A questo proposito cita “un’issue arrabbiata” che contesta l’assenza di una conferma pubblica. Indica però anche un riscontro in codice: un commit di William Liu con i risultati di un suo esperimento sui tokenizer1.
I numeri di quel commit sono specifici. Sette modelli — GPT‑5.5; GPT‑5.6 nelle varianti Sol, Terra e Luna; GPT‑6 nelle varianti Astra, Sol e Luna — riportano tutti 44.794 token e concordano su ciascuno dei 31 “fixture” del test. La nota aggiunge che “GPT‑6 non introduce alcun cambiamento nel conteggio di input” su quel corpus1.
Il ragionamento è lineare: se i conteggi coincidono tra quei modelli e su quelle prove, ttok può impostare come predefinito il tokenizer della famiglia GPT‑5/GPT‑6. L’autore lo presenta come una correzione del comportamento di base del tool, non come una prova formale sulla continuità del tokenizer tra famiglie di modelli. La sequenza riportata — rilascio della 0.4, upgrade, pipe di un file, scoperta del default errato, decisione di “spedire” la 1.0 — lega la nuova versione a un singolo cambiamento chiaro: il default del tokenizer1.
Resta un punto aperto, esplicitato nel post: OpenAI “non ha effettivamente confermato” la compatibilità del tokenizer tra GPT‑5 e GPT‑6. La discussione pubblica esiste, e la definizione di “angry issue” segnala il tono del confronto. In questo quadro, l’esperimento di Liu fornisce un’evidenza operativa: sette modelli, 44.794 token, 31 fixture, concordanza completa su quel set. È un dato di fatto replicabile, utile per scegliere un default sensato in assenza di una dichiarazione ufficiale1.
Il risultato pratico per ttok è semplice: d’ora in poi il programma non partirà più dal tokenizer di GPT‑4 ma da quello di GPT‑5/GPT‑6, allineandosi ai conteggi osservati nei test citati. L’aggiornamento alla 1.0 arriva così come conseguenza diretta di un controllo sul campo e di una correzione del comportamento predefinito, con una motivazione esplicitata e riferimenti concreti al codice e ai numeri del test1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.