I modelli come ChatGPT spiegati, predicono un token alla volta

ChatGPT opera su token: spezza i messaggi e sceglie il prossimo, uno alla volta, finché completa la risposta¹.

Il principio è la previsione. Il modello riceve una sequenza di token. Calcola quale token è più probabile. Lo aggiunge. Ripete il ciclo. Da questa regola semplice emergono grammatica, fatti, schemi di ragionamento e stile, perché prevedere bene richiede impararli¹.

Il testo entra come token. Un token può essere una parola intera, una parte di parola o un segno di punteggiatura. La generazione avanza token dopo token. Non richiama documenti salvati: costruisce la risposta sul momento in base a ciò che ha appreso nei parametri¹.

L’apprendimento parte dal pre-training. Il modello vede una grande quantità di testo e prova a predire token mancanti o successivi. Ogni errore lo corregge un poco. Il risultato è un insieme molto grande di numeri, i parametri, che orientano le scelte successive. Poi arriva il fine-tuning: il modello vede esempi di conversazioni e persone valutano le risposte. Così l’output diventa più utile e più vicino al comportamento di un assistente¹.

La maggior parte dei modelli moderni usa il transformer. L’ingrediente chiave è l’attention, che pesa quanto ciascun token precedente conta nella previsione del prossimo. Serve a tenere i legami interni della frase. Nell’esempio “The trophy didn’t fit in the case because it was too big”, l’attenzione aiuta a collegare “it” al trofeo, non alla teca¹.

Quando invii un messaggio, il sistema costruisce un contesto con la tua richiesta, gli scambi precedenti e eventuali istruzioni nascoste del servizio. Tutto viene tokenizzato e passato al modello. C’è una finestra di contesto, il massimo di testo che il modello può considerare in un colpo solo: se la conversazione la supera, le parti più vecchie possono uscire. Alcuni prodotti aggiungono memorie esterne o collegano il modello alla ricerca. Sono sistemi extra, costruiti intorno al modello¹.

Una componente casuale è spesso presente nella generazione. Per questo la stessa domanda può produrre due risposte con parole diverse. Il modello “ricorda” nel dialogo solo ciò che rientra nel contesto inviato ogni volta¹.

Qui nasce anche il rischio più noto: il modello produce testo plausibile senza verificare i fatti. Può quindi affermare con sicurezza qualcosa di falso, la cosiddetta allucinazione. È più probabile su temi oscuri, cifre precise, citazioni, eventi recenti oltre il periodo coperto dai dati di addestramento. Collegare il modello a ricerca o documenti riduce il problema. Non lo elimina¹.

Questo guida l’uso: bozze, riassunti, brainstorming, spiegazioni. Trattali come un’amica o un amico molto letto: spesso utile, a volte sbaglia, da controllare quando i dettagli contano davvero¹.

C’è un’ultima implicazione pratica: la decisione se le conversazioni aiutano in seguito ad addestrare o migliorare i modelli dipende dal fornitore e dalle tue impostazioni. Vale la pena rivedere le opzioni di privacy prima di scrivere la prossima domanda¹.