G7 con GPU Blackwell accelera l’inference dei piccoli LLM su SageMaker

Nei test della funzione Generative AI inference recommendation di Amazon SageMaker AI, le istanze G7 con GPU NVIDIA Blackwell battono G6 e G5 su throughput, latenza e costo per token con piccoli LLM¹.

AWS confronta tre famiglie di istanze nella stessa cornice: Amazon SageMaker AI Inference. La funzione di raccomandazione misura time to first token e latenza ed elabora stime di throughput e costo per token. Il set include due modelli Mixture-of-Experts da 30 miliardi di parametri, usati come rappresentativi dei piccoli LLM. Sui tre assi chiave — velocità, costo, reattività — G7 risulta sistematicamente avanti rispetto a G6 e G5¹.

La scelta dell’istanza incide in modo diretto su prestazioni e spesa. Un passaggio di generazione può ridurre la latenza, aumentare il throughput e abbassare il costo per token. L’ampiezza del guadagno dipende dall’architettura del modello, dal formato di quantizzazione e dal profilo del carico. Il post collega questi fattori alle differenze osservate tra le tre famiglie testate¹.

C’è un focus sullo sviluppo software. AWS distribuisce Qwen3-Coder-30B per scenari aziendali come generazione di codice, debugging, refactoring e copiloti per sviluppatori. In questo caso d’uso, il confronto include istanze ml.g5.12xlarge con GPU A10G e ml.g6.12xlarge. Le metriche restano le stesse: time to first token, latenza, throughput e costo per token. Anche qui le G7 emergono come opzione più efficiente nel perimetro dei test descritti¹.

La funzione di raccomandazione offre un metodo omogeneo per scegliere. Fornisce misure comparabili e produce suggerimenti su throughput, costi e latenza. In questo quadro, i risultati posizionano G7 come scelta preferibile per l’inference di piccoli LLM, a parità di condizioni di test. Il messaggio operativo è netto: provare G7 per massimizzare throughput e ridurre latenza e costo per token, verificando poi con misure proprie l’aderenza al proprio carico e modello¹.

Resta un punto fermo: il beneficio varia con modello, quantizzazione e profilo di traffico. La stessa famiglia di istanze può comportarsi in modo diverso con input lunghi, batch differenti o formati di pesi diversi. Per questo, AWS invita a eseguire un benchmark mirato con la funzione di raccomandazione su G5, G6 e G7 e a decidere in base ai risultati del proprio caso d’uso¹.

Per chi pianifica ambienti di produzione, l’implicazione è pratica: i risultati cambiano con il pattern di chiamate e la configurazione del modello. Ha senso integrare i test della funzione di raccomandazione nel ciclo di capacity planning e rifare il dimensionamento quando si passa di generazione o si cambia quantizzazione¹.