AI2 adotta budget di tempo GPU e fair-share per lo scheduling dei cluster

Allen Institute for AI ha abbandonato lo scheduler a priorità. Entra un sistema con budget di tempo GPU, fair-share gerarchico e un contratto di time-slicing. Obiettivo dichiarato: alzare l’“impact”, cioè quante volte le GPU finiscono sui carichi di lavoro più preziosi. Le decisioni passano da interventi sul singolo job a un processo di budgeting trasparente e misurabile¹.

Il team AI Infrastructure eroga la capacità GPU dell’istituto, mirata ad addestramenti ampi e distribuiti. Il post che introduce la riforma è netto: conta indirizzare le GPU ai progetti che contano, quando contano¹.

AI2 modella il problema con una piramide di quattro metriche. Alla base l’availability: hardware sano e pronto. Sopra l’occupancy: frazione di tempo assegnata a un carico. Terzo livello, l’impact: frequenza con cui i carichi prioritari ottengono risorse. In cima la utilization: quota di capacità usata sull’intera vita del workload. Il lavoro si concentra sull’impact e su come aumentarlo cambiando lo scheduling¹.

Tre leve compongono il nuovo impianto. I budget di tempo GPU fissano quote temporali esplicite per team o progetti. L’allocazione fair-share, disegnata in modo gerarchico, ripartisce le richieste lungo l’organizzazione. Il contratto di time-slicing stabilisce come spezzare il tempo in modo coerente con quei budget. Ne esce un meccanismo che sostituisce i confronti ad hoc tra job con regole note prima e verificabili a consuntivo¹.

Cambia anche la conversazione interna. Prima, una coda ordinata per priorità e discussioni caso per caso. Ora, un confronto su quanta quota assegnare a ciascun progetto. La scelta diventa amministrativa. L’esecuzione passa al sistema, che applica i budget nel tempo secondo il contratto di slicing¹.

Lo scenario hardware è ampio: migliaia di GPU NVIDIA H100, B200 e B300. I cluster vanno da 88 a 1.024 GPU. L’istituto lega così la progettazione dello scheduler alla scala effettiva dei carichi e delle macchine che li ospitano¹.

La piramide availability–occupancy–impact–utilization definisce anche la sequenza delle decisioni. Senza hardware disponibile non si assegna il tempo. Senza tempo assegnato non si sceglie l’impatto. Solo dopo si misura l’uso lungo il ciclo di vita del workload. La riforma interviene in questo livello intermedio, dove una scelta diversa di scheduling può massimizzare quante volte i job di maggior valore partono quando serve¹.

“Contratto” è la parola chiave. I budget fissano aspettative. Il fair-share gerarchico distribuisce la capacità tra livelli. Il time-slicing lega le assegnazioni a finestre temporali definite. Da coda a calendario: la pianificazione si ancora a quote decise prima e a misure dopo l’esecuzione. Il conflitto, così, si sposta sui limiti e non sull’ordine dei job, con regole pubbliche e stabili nel tempo¹.