I checkpoint LFM2.5 Q4_0 con QAD recuperano ~97% della precisione BF16

I checkpoint LFM2.5 Q4_0 addestrati con Quantization‑Aware Distillation recuperano circa il 97% della precisione media persa per effetto della quantizzazione, mantenendo memoria e velocità dei GGUF Q4_0 nativi¹.

Gli autori descrivono la Quantization‑Aware Distillation così: un modello teacher ad alta precisione distilla in uno student già quantizzato. L’obiettivo è ridurre la perdita di accuratezza senza cambiare l’impronta di memoria e il throughput tipici dei Q4_0¹.

I numeri coprono quattro modelli LFM2.5. I checkpoint QAD conservano il 97,1%, il 96,5%, il 97,4% e il 96,6% delle prestazioni dei corrispondenti baseline BF16. In media, i nuovi checkpoint recuperano il 97% dell’accuratezza che la quantizzazione aveva sottratto. Il confronto usa come “tetto” nel formato il GGUF in BF16. Gli autori riportano la media su cinque ripetizioni per ciascun test¹.

La valutazione attraversa più classi di compiti: ragionamento, instruction‑following, uso di tool e capacità agentiche. Le suite includono GPQA Diamond, MMLU‑Pro, IFEval, IFBench, Multi‑IF e BFCLv4. A queste si aggiunge un test matematico calibrato sulla scala del modello: GSM8K per LFM2.5‑230M e LFM2.5‑350M; AIME25 per LFM2.5‑1.2B‑Instruct e LFM2.5‑2.6B. Il set di riferimento mette a confronto i GGUF rilasciati con post‑training quantization e i checkpoint QAD Q4_0, con il BF16 in GGUF come limite superiore nel medesimo formato¹.

Il punto pratico riguarda dimensioni e velocità. I checkpoint QAD Q4_0 dichiarano la stessa memoria occupata e lo stesso throughput dei GGUF Q4_0 nativi. Gli autori misurano il throughput di decodifica su hardware edge. La promessa operativa è chiara: tenere il profilo Q4_0 senza sacrificare in modo marcato la qualità rispetto al BF16 di riferimento¹.

Il confronto con i GGUF ottenuti via post‑training quantization è diretto. Su tutti e quattro i modelli, i checkpoint QAD migliorano in modo sostanziale i Q4_0 prodotti con PTQ nella stessa suite di benchmark. Il BF16 in GGUF resta il ceiling nel formato, ma i QAD Q4_0 si avvicinano sensibilmente a quel livello pur restando nel regime di memoria e velocità dei Q4_0 nativi¹.

In sintesi dei risultati, i dati riportati indicano:

• Addestramento con distillazione consapevole della quantizzazione, da un teacher ad alta precisione a uno student quantizzato¹.
• Recupero del 97% della precisione media persa a causa della quantizzazione, con percentuali per modello pari a 97,1%, 96,5%, 97,4% e 96,6% rispetto al baseline BF16¹.
• Parità di footprint di memoria e throughput con i Q4_0 nativi, misurata su hardware edge in fase di decodifica¹.
• Miglioramenti sistematici rispetto ai GGUF ottenuti con post‑training quantization sulle suite GPQA Diamond, MMLU‑Pro, IFEval, IFBench, Multi‑IF, BFCLv4, con GSM8K o AIME25 scelti in funzione della scala del modello¹.

La chiusura operativa è nel perimetro dei test: i QAD Q4_0 alzano l’asticella della qualità possibile dentro i vincoli di memoria e velocità dei Q4_0, con il BF16 in GGUF come riferimento massimo nel formato¹.