Un allocator ‘constraint-aware’ aumenta l’utilizzo GPU fino a 33 punti

Sul medesimo cluster e con gli stessi job, cambiare solo l’ordine di assegnazione delle GPU ha alzato l’utilizzo fino a 33 punti percentuali rispetto a un FIFO di base¹.

L’esperimento confronta un allocator “constraint‑aware” con uno scheduler FIFO su sette scenari di benchmark. La baseline resta fissa: stesso hardware, stessi carichi, stesse code. Cambia l’ordine con cui l’allocatore prende decisioni in presenza di vincoli. Il risultato è costante: il “constraint‑aware” batte il FIFO in tutti i casi. Oltre all’utilizzo, cresce anche il “priority‑weighted output”, con un massimo del +105%. Le unità sono esplicite: l’utilizzo come differenza in punti percentuali; il valore come aumento percentuale dell’output ponderato per priorità, calcolato nello stesso scenario e contro la stessa baseline¹.

Il post che presenta il lavoro è pubblicato sul blog di Hugging Face e firmato da Dharma‑AI. L’autore definisce la decisione di scheduling come riempimento iterato di una griglia di scelte binarie: quale job su quale GPU, in quale timestep, con quale priorità. In ogni cella può esserci il nome di un job o niente. Questa sequenza di assegnazioni, più dell’hardware, determina l’uso delle risorse e il valore prodotto nello stesso intervallo di tempo¹.

Nel set di esempi compaiono training e inference in tempo reale. Carichi diversi competono per le stesse GPU e portano vincoli pratici differenti. Il disegno dell’esperimento isola l’effetto dell’ordine di allocazione: scenari identici per risorse e workload, misure effettuate contro la stessa baseline FIFO. In questo modo i guadagni osservati si attribuiscono al metodo di scheduling, non a variazioni di carico o di capacità¹.

La metrica “priority‑weighted output” rende esplicita l’urgenza relativa dei job. Non misura solo quante GPU restano accese, ma quale valore escono dal cluster quando si rispetta una gerarchia di priorità. La combinazione di utilizzo e valore mostra dove l’ordine di allocazione sposta il risultato anche a parità di saturazione, e fornisce un criterio leggibile per confrontare politiche di scheduling senza toccare l’hardware¹.

I numeri colpiscono perché arrivano da un aggiustamento minimale: la scelta di quale job mettere prima, non l’aggiunta di risorse. Il post mostra che spostare la priorità delle decisioni, entro gli stessi vincoli, può alzare insieme utilizzo e valore. È una leva operativa chiara per chi deve far convivere training e real‑time inference sullo stesso cluster: l’ordine conta, e in questi test ha contato fino a 33 punti percentuali sull’utilizzo e fino al 105% sul valore ponderato¹.