AWS lancia liste di preferenza per le istanze in SageMaker

Meno attese per GPU in SageMaker: AWS introduce le “Instance preference lists”, con un massimo di cinque tipi di istanza per job di training e processing¹.

Quando la GPU preferita non c’è, i job si fermano. Finora molti team ripetevano tentativi manuali su istanze alternative, perdendo tempo e ritmo. La nuova funzione consente di inviare un solo job con più opzioni ritenute idonee. SageMaker AI valuta l’elenco in ordine di priorità e avvia il job sul primo tipo con capacità disponibile, così da ridurre i tempi morti tra un esperimento e l’altro¹.

Il perimetro è preciso: vale per Training Jobs e Processing Jobs. Chi crea un job indica una lista ordinata di tipi di istanza accettabili, fino a cinque voci. L’ordine lo decide l’utente. Il servizio scorre la lista, verifica la capacità e parte non appena trova un match. Niente retry manuali, niente code presidiate a vista¹.

Il guadagno operativo sta nella continuità. Un’unica sottomissione sostituisce tentativi ripetuti ogni volta che manca la prima scelta. Se la capacità fluttua, la seconda o terza opzione possono sbloccare l’esecuzione restando all’interno dei vincoli fissati per il job. L’obiettivo dichiarato: assicurare capacità on‑demand più rapidamente e mantenere l’iterazione sui modelli senza pause inutili¹.

La logica è semplice e controllabile. L’utente stabilisce quali istanze considera equivalenti per il proprio carico e come ordinarle. SageMaker AI esegue la selezione in base a quell’ordine, senza deviare dal set definito. L’esecuzione parte quando una delle opzioni risulta disponibile. Così si riduce il tempo speso nella gestione della capacità e si concentra l’attenzione su dati, codice e valutazioni¹.

La stessa impostazione vale per i Processing Jobs. Anche qui si dichiara l’elenco in ordine di preferenza e il servizio controlla la disponibilità in base a quella lista per avviare il job più rapidamente. Il limite resta cinque tipi di istanza per job. Il meccanismo riduce il lock‑in su una sola configurazione nei momenti di picco, senza cedere controllo sui requisiti tecnici fissati dal team¹.

Per i team che lavorano con GPU contese, il vantaggio è immediato: meno tempo in coda, meno interventi manuali, più esperimenti che partono quando serve. I picchi di utilizzo non spariscono, ma l’orchestrazione assorbe gran parte della variabilità di capacità all’interno del perimetro scelto dall’utente¹.

Dettagli e ambito della funzione sono descritti nell’annuncio ufficiale di AWS, con esempi su Training e Processing Jobs e sul limite di cinque tipi di istanza per job¹.