Salesforce porta Agentforce su più Availability Zone con SageMaker Inference Components
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Usando il nuovo parametro SchedulingConfig di CreateInferenceComponent, Salesforce mantiene un risparmio GPU di 8x senza rinunciare alla disponibilità Multi‑AZ.
Salesforce ha affrontato un vincolo di conformità: rendere Agentforce altamente disponibile su più Availability Zone, senza perdere i risparmi ottenuti con gli Inference Components di Amazon SageMaker. La risposta è arrivata con la nuova capacità di Placement degli IC, esposta tramite il parametro SchedulingConfig nella API CreateInferenceComponent1.
Gli Inference Components avevano già tagliato i costi infrastrutturali di 8 volte grazie al co‑hosting di più modelli su GPU condivise1. Il risultato economico era netto. Restava una domanda precisa: come garantire alta disponibilità Multi‑AZ agli endpoint IC, rispettando l’asticella di conformità interna?1
Il problema nasceva dal comportamento predefinito del placement in SageMaker. L’algoritmo ottimizza ogni operazione di deployment di un Inference Component in modo indipendente. Distribuisce nuove copie in modo uniforme tra le istanze, ma non considera l’equilibrio tra Availability Zone1. Anche con un endpoint Multi‑AZ, questa visione per singola operazione può produrre punti di fallimento in IC deployments1.
Per Salesforce, questo schema non bastava a soddisfare i requisiti di alta disponibilità su più zone. Serviva governare dove collocare i componenti, non solo quante repliche distribuire. Il bilanciamento tra zone non poteva restare un effetto collaterale dell’algoritmo di default.
La novità di prodotto ha spostato l’equilibrio. La capacità di IC Placement, resa disponibile attraverso SchedulingConfig nella chiamata CreateInferenceComponent, consente di controllare il posizionamento dei componenti e di allinearlo agli obiettivi di disponibilità su più AZ fissati dai requisiti di conformità1. Il post tecnico mostra come questo controllo aiuti a colmare il gap lasciato dal placement predefinito1.
L’effetto operativo è chiaro. Da un lato, restano i benefici degli IC: co‑hosting di modelli su GPU condivise e riduzione degli oneri infrastrutturali di 8 volte1. Dall’altro, l’adozione del Placement mirato consente di perseguire l’alta disponibilità Multi‑AZ richiesta, superando i limiti della distribuzione “per operazione” che non bilancia tra zone1.
La sequenza è lineare: risparmio con gli Inference Components; scoperta di un limite del placement predefinito rispetto alla resilienza Multi‑AZ; introduzione della capacità di Placement degli IC tramite SchedulingConfig; utilizzo di questa capacità per rispondere ai requisiti di conformità senza rinunciare ai risparmi GPU1.
Il post di AWS inquadra il caso con un obiettivo pratico: illustrare come usare la nuova capacità di Placement per distribuire il carico degli Inference Components tra più Availability Zone e soddisfare i requisiti di alta disponibilità stabiliti, mantenendo l’efficienza economica raggiunta con SageMaker1.
L’implicazione è concreta per chi gestisce inference a costi contenuti: l’ottimizzazione di densità GPU e l’alta disponibilità su più AZ non sono più obiettivi in conflitto. Con IC Placement via SchedulingConfig nella API CreateInferenceComponent, il bilanciamento tra zone diventa un parametro sotto controllo, non un risultato casuale dell’algoritmo di default1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.