HPE sposta la KV cache sulle Alletra MP X10000 e accelera l'inference

Nei test validati da Kamiwaza, spostare la KV cache sullo storage HPE Alletra Storage MP X10000 ha ridotto il time to first token fino a 20 volte e aumentato il throughput di 17 volte su GPU NVIDIA H200, rispetto all’esecuzione senza offload della cache¹. Effetto pratico: risposte più rapide e più token prodotti nello stesso tempo.

La KV cache conserva lo stato del contesto generato durante l’inference. Di norma resta in memoria GPU. HPE propone di metterla su Alletra MP X10000, così lo stato calcolato resta disponibile e non serve ricostruirlo quando il sistema torna sugli stessi contenuti¹.

Il guadagno nasce qui. Se lo stato non viene espulso dalla memoria GPU, gli acceleratori ricalcolano meno. I cicli liberi vanno all’inference utile. Il primo token arriva prima. A parità di tempo, escono più token. I rapporti misurati nei test indicano l’ordine di grandezza dell’effetto¹.

Il tema pesa nei workflow a più passaggi. Con agenti che coordinano attività, documenti, istruzioni di sistema e cronologie ricompaiono a ogni step. Un agente recupera informazioni, un altro le valuta, un terzo controlla il risultato. Ricalcolare tutto è spreco, riusare lo stato no¹.

Nei test citati, la piattaforma include GPU NVIDIA H200, Kamiwaza AI e HPE Alletra MP X10000¹. I risultati descrivono quel setup validato da Kamiwaza. Vanno letti nel contesto della configurazione e del carico usati in prova¹.

Per chi progetta agenti che collaborano sulla stessa base informativa, il posizionamento della KV cache diventa una leva architetturale. Scegliere lo storage può sbloccare tempo di risposta e throughput in catene con riuso intensivo del contesto¹. La decisione su dove tenere lo stato pesa quanto la scelta del modello e delle GPU, perché determina quante volte si paga lo stesso calcolo.