Ricercatori propongono metodi per abbassare il costo della knowledge distillation

Caricare Kimi-K3 richiede circa 3 TB di VRAM. Il modello conta 2,8 trilioni di parametri. Il post spiega che comprimere modelli di queste dimensioni e recuperarne le capacità tramite knowledge distillation è ormai prassi, perché distribuire sistemi così grandi costa troppo¹.

Distillation significa addestrare un modello più piccolo per eguagliare le prestazioni di uno più grande. La tecnica non è nuova, ma l’ultima ondata di Large Language Model open source — gpt-oss, Qwen, GLM, Kimi — l’ha riportata al centro della scena¹. Tra i rilasci recenti, il post cita anche Nemotron 3 Puzzle 75B e Hypernova 60B, presentati come modelli compressi di alta qualità¹.

La qualità finale dipende in larga parte dalla distillation, che però rappresenta anche la voce di costo principale. Motivo operativo: durante l’addestramento servono in memoria insegnante e studente. Per ogni token bisogna calcolare una distribuzione di probabilità su tutto il vocabolario. La richiesta di memoria cresce rapidamente¹.

Con Kimi-K3, le scale diventano chiare: 3 TB di VRAM solo per il caricamento. Non si parla di inferenza, ma del semplice tenere il modello residente. In questo quadro la compressione non è accessoria. Riduce l’impatto di modelli che risultano onerosi ancora prima di qualsiasi calcolo¹.

Sequenze lunghe, dataset ampi e batch sostanziosi spingono la memoria oltre i limiti di una singola GPU. Per questo, oggi la distillation su modelli molto grandi è tipicamente fattibile solo con centinaia di GPU e strategie di tensor parallelism curate. Il post definisce “enormi” le richieste di VRAM e collega questa pressione alla necessità di infrastrutture numerose e complesse¹.

Il lavoro presentato punta a ridurre il costo della distillation “abbastanza” da consentirne l’esecuzione su larga scala. L’enfasi ricade su due elementi: centralità della distillation per la qualità dei modelli compressi e ostacolo rappresentato dal fabbisogno di memoria quando insegnante e studente restano caricati insieme¹. Il titolo del post delimita l’obiettivo e il campo d’azione, senza entrare nel dettaglio tecnico nel passaggio citato¹.

La linea è netta: i modelli aperti spingono la ricerca sulla distillation; i casi citati mostrano che la compressione produce risultati di qualità; ma il costo della distillation resta il collo di bottiglia. Il post propone un percorso per contenerlo e, così facendo, allargare le condizioni pratiche in cui la distillation può avvenire su modelli molto grandi¹.