Multiverse trasforma il pruning degli LLM in un vetro di Ising e migliora MMLU

A metà compressione di Llama-3.3-70B-Instruct, Multiverse dichiara quasi +23 punti percentuali su MMLU rispetto al miglior metodo concorrente di rimozione di blocchi¹.

La novità sta nel trasformare la scelta dei blocchi in un problema di ottimizzazione binaria con vincoli che si mappa direttamente su un vetro di Ising, un sistema di spin disordinato con interazioni tra tutte le coppie e un numero fissato di “spin up”¹. In questa formulazione, l’energia del sistema fisico diventa un proxy economico per stimare la qualità della configurazione pruned. Con questo proxy si possono classificare molte combinazioni di blocchi senza eseguire benchmark costosi su ciascuna¹.

Gli autori criticano le tecniche che stimano il peso di ogni blocco in isolamento. Citano euristiche basate su magnitudine, sensibilità o “influenza del blocco”, che trattano il problema come se ogni decisione fosse indipendente¹. La loro impostazione considera esplicitamente le interazioni tra scelte diverse e usa la mappatura a Ising per catturarle.

Il procedimento operativo è essenziale: si rappresenta ogni blocco con una variabile binaria e si impone un vincolo sul numero totale di blocchi conservati. La funzione obiettivo è l’energia del modello di Ising. Questa energia fornisce un proxy forte e a basso costo per il punteggio del modello pruned sui benchmark. Da qui la possibilità di ordinare rapidamente un numero molto grande di configurazioni candidate senza benchmark diretti e concentrare l’attenzione sperimentale solo dove serve¹.

Per le istanze difficili del problema, Multiverse impiega gli stessi solver classici e “quantum‑inspired” che usa in altri lavori. Il metodo affida a questi risolutori la selezione nei casi più complessi, dopo avere sfruttato l’energia come guida per il ranking preliminare¹.

Il vantaggio dichiarato emerge nella “deep compression”. Nel caso riportato, la compressione al 50% di Llama-3.3-70B-Instruct porta quasi 23 punti percentuali di MMLU in più rispetto al miglior concorrente tra i metodi di block removal testati¹. L’esempio indica che la correlazione tra energia e qualità pratica del modello pruned consente di evitare valutazioni esaustive e di raggiungere configurazioni che mantengono meglio le prestazioni.

Un effetto pratico riguarda il costo computazionale durante la ricerca. Poiché l’energia di Ising funge da proxy, il processo riduce il numero di valutazioni dirette necessarie, dato che permette di classificare un grande insieme di candidati senza benchmark espliciti¹. Questo sposta lavoro dall’esecuzione di test completi al calcolo del proxy, che risulta più economico.

Gli autori collegano il quadro fisico alla pratica dell’ottimizzazione. La mappatura a un vetro di Ising con interazioni all‑to‑all e un numero fissato di “spin up” rende il problema compatibile con l’arsenale di risolutori che Multiverse adotta in altri contesti. La stessa infrastruttura di calcolo che gestisce problemi di Ising trova così applicazione diretta nella selezione dei blocchi di un LLM, con il proxy energetico come ponte tra fisica statistica e compressione di modelli¹.