Tsinghua e CUHK aprono AKV, sistema per ottimizzare i KV cache degli agenti LLM
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Il codice Apache-2.0 permette agli agenti di scartare selettivamente voci di KV cache, riducendo i costi e migliorando i punteggi sui benchmark.
Costo medio per task -27,7 per cento e punteggio medio +1,7 punti: Tsinghua University e CUHK presentano AKV, un sistema di serving e una libreria di policy per fare cache engineering sui KV cache degli agenti LLM. Il codice è open source con licenza Apache-2.0 ed è basato su SGLang1.
AKV agisce sul KV cache del modello durante l’esecuzione. Invece di riassumere la cronologia testuale, l’agente elimina voci selezionate dal KV cache e riusa le rimanenti. Il sistema consente di scartare e riposizionare porzioni del cache per contenere i costi senza ripassare per il prompt1.
Gli autori distinguono cache engineering e context engineering. Il primo interviene direttamente sul KV cache. Il secondo taglia o riassume il contesto per rientrare nella finestra del modello1.
Il progetto non include pesi di modelli. Fornisce un sistema di serving e una libreria di policy per orchestrare le scelte sul KV cache. La base software è SGLang. L’esecuzione avviene su GPU NVIDIA. Nei test del paper, gli autori hanno usato otto A800-80GB in BF16. Il quick start mostra la configurazione di GPT-OSS-120B su due GPU con tensor parallel impostato a 21.
La valutazione copre tre modelli e quattro benchmark di agenti. I modelli sono GPT-OSS-120B, con 5,1 miliardi di “active parameters”, MiniMax-M2.7, 230 miliardi totali e 10 miliardi “attivi”, e MiroThinker-1.7-Mini, 30 miliardi totali e 3 miliardi “attivi” (terminologia del paper)1.
Sui benchmark aggregati, AKV riduce in media il costo per task del 27,7 per cento e aumenta il punteggio medio di 1,7 punti rispetto a una baseline che riassume la storia a soglia. Nel caso migliore, GPT-OSS-120B su SWE-bench Verified: costo per task da 20,0 a 9,7 centesimi, punteggio da 40,0 a 43,2. Nel caso peggiore, MiniMax-M2.7 su BrowseComp-Plus ottiene 58,9, 3,4 punti in meno rispetto a Text Engineering con 62,31.
AKV si concentra sul riuso del lavoro già fatto dal modello. Scarta parti di memoria non più utili, tiene ciò che serve, evita riassunti che consumano token. I risultati medi indicano un miglior rapporto costo-qualità. I casi specifici mostrano che il vantaggio dipende da modello e task1.
Il rilascio comprende codice, documentazione e istruzioni di avvio. La licenza è Apache-2.0. L’integrazione si appoggia a SGLang, lo stesso stack usato negli esperimenti riportati nel paper1.
La forbice tra il miglior e il peggior caso segnala un punto operativo: il cache engineering non sostituisce sempre il riassunto del contesto. Va scelto per modello e benchmark, misurando l’effetto su costi e punteggi con le policy di AKV1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 9/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 7,9/10 dopo 1 revisione.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.