Distillazione AI: come trasferire il comportamento di un modello grande a uno piccolo

Unite.AI definisce la distillazione: trasferire il comportamento di un teacher più capace a uno student più piccolo usando output del teacher, segnali interni o probabilità smussate¹.

Richiede tre impegni pratici: un input identificabile, una trasformazione caratteristica, un risultato valutabile rispetto a un obiettivo dichiarato. Se uno manca, la distillazione non c’è. Serve precisione per evitare che “distillazione” diventi un sinonimo di “AI avanzata”¹.

Il primo confine operativo separa la distillazione dalla compressione semplice. Ridurre parametri senza insegnare allo student può produrre modelli più piccoli, ma cambia la storia causale. Cambiano le prove di successo, i costi che contano, i controlli che prevengono danni. Il confine è operativo, non terminologico¹.

Unite.AI propone una mappa operativa in cinque fasi. È una mappa causale: alcuni sistemi uniscono fasi o le ripetono in ciclo. Resta utile perché forza ogni cambio di informazione o autorità ad avere un proprietario, un input, un output e un test¹.

Prima fase: selezionare un teacher e un carico di lavoro target. Contano le informazioni consumate, lo stato che cambia, l’evidenza che valida l’operazione. Va distinta dalla compressione e resa riproducibile nelle stesse condizioni. Inizia con l’obiettivo dichiarato e termina con un risultato che consenta di generare o raccogliere la supervisione del teacher. Qui si registrano incertezze, alternative scartate, uso di risorse e controlli applicati. È il punto in cui si può rilevare se lo student erediterà errori e perderà capacità rare prima che la stessa debolezza raggiunga un output conseguente¹.

Seconda fase: generare o raccogliere la supervisione del teacher. Di nuovo, contano le informazioni consumate, lo stato modificato, la prova di validità. Il risultato deve supportare l’addestramento dello student a imitare il comportamento utile. Anche qui si documentano incertezze, alternative, risorse e controlli, per intercettare l’ereditarietà degli errori e la perdita di abilità poco frequenti prima che impattino un output rilevante¹.

Terza fase: addestrare lo student a corrispondere al comportamento utile. Si documenta la trasformazione distintiva con input, stato modificato, evidenza di validità. L’uscita deve permettere di testare quali conoscenze e quale calibrazione si sono perse. Si annotano incertezze, alternative, uso di risorse e controlli umani o software¹.

Le prestazioni non dipendono solo dal modello. Dati, interfacce, hardware, permessi e persone possono determinarle anche quando il modello resta immutato. Una spiegazione utile separa il comportamento appreso dalla logica di prodotto che decide quando, dove e con quale autorità usarlo¹.

Checklist minima per chi valuta un progetto di distillazione:

• Teacher, student e workload target sono definiti in modo esplicito?
• La supervisione del teacher è documentata: output, segnali interni o probabilità smussate?
• Incertezze, alternative scartate, risorse e controlli sono registrati a ogni passaggio?
• Esistono test per misurare perdita di conoscenza e calibrazione, ed eventuale trasferimento di errori?
• Il processo è distinguibile e riproducibile rispetto alla semplice compressione?¹

Una traccia verificabile consente a chi revisiona di testare affermazioni e controlli, mentre lo stack attorno al modello può determinare il risultato anche a modello invariato¹.