Amazon riduce i cold start di SageMaker HyperPod con model caching
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Il nuovo caching precarica immagini e pesi sui nodi, permettendo ai pod di leggere da NVMe locale fino a ~7 GB/s e accorciando i tempi di avvio per modelli grandi.
I pod di SageMaker HyperPod leggono i pesi dei modelli da NVMe locale a circa 7 GB/s invece di scaricarli in rete. Amazon annuncia il model caching per l’inferenza su HyperPod1. Subito un caso limite: DeepSeek-R1 supera i 600 GB. Con queste dimensioni, la prima richiesta può attendere oltre 30 minuti e ogni scale-out ripete il ciclo di download, vincolato alla banda verso lo storage di origine1.
Il collo di bottiglia nasce prima che il pod parta. La piattaforma scarica in sequenza due elementi: l’immagine del server di inferenza da Amazon Elastic Container Registry (Amazon ECR) e i pesi del modello dal tuo storage, che può essere Amazon Simple Storage Service (Amazon S3), Amazon FSx for Lustre o HuggingFace Hub1. Per modelli piccoli si parla di pochi minuti; per modelli molto grandi l’attesa cresce sensibilmente1.
Il model caching sposta il lavoro in anticipo. Precarica immagini e pesi sui nodi del cluster, prima che i pod ne abbiano bisogno. All’avvio, i pod leggono dai dischi NVMe locali a circa 7 GB/s invece di attendere trasferimenti dalla rete1.
Cambia così il comportamento in scala. Prima, ogni aumento di capacità innescava due download in serie, con tempi dipendenti dal throughput verso registro e storage remoti. Con il caching, i nodi offrono asset già presenti in locale. L’avvio dei pod diventa una lettura da disco, non un trasferimento di rete, con impatto diretto sulla finestra tra richiesta e disponibilità a servire traffico1.
La novità tocca due componenti: immagini del server di inferenza residenti su Amazon ECR e pesi dei modelli posti su S3, FSx for Lustre o HuggingFace Hub. Il caching porta entrambi sui nodi e ne abilita il riuso locale, eliminando i trasferimenti iniziali alla nascita di nuovi pod1.
Per chi gestisce modelli in S3, FSx for Lustre o HuggingFace Hub, non cambia l’origine dei file ma il tempo d’avvio: con i contenuti precaricati, i nuovi pod partono senza attendere la rete, e gli eventi di scale-out su modelli molto grandi smettono di dipendere dalla banda verso il backend di storage1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Il filo della storia
- Amazon presenta un tiered KV cache per LLM su SageMaker HyperPod
- Questo articolo
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.