Nuove architetture LLM riducono i costi del contesto lungo

Quattro modelli open-weight, Gemma 4, DeepSeek V4, Laguna XS.2 e ZAYA1-8B, introducono KV sharing, mHC e attenzione compressa per tagliare memoria e calcolo nei contesti lunghi¹.

La KV-cache conserva chiavi e valori dei token già letti. Il KV sharing riusa queste rappresentazioni tra componenti del modello per ridurre cache e traffico di memoria. La mHC coordina più teste di attenzione nella gestione e compressione della cache. L’attenzione compressa limita il calcolo rispetto alla piena attenzione densa¹.

Le scelte architetturali mirano a tre punti: dimensione della KV-cache, traffico di memoria e costo dell’attenzione su sequenze estese. L’intervento è interno al modello: come salva il passato, come lo consulta, dove alloca il calcolo¹.

Per modello, S1 attribuisce così le innovazioni:

• Gemma 4 adotta KV sharing con meccanismi che distinguono i layer e permettono di riutilizzare chiavi e valori invece di mantenerne copie separate¹.
• Laguna XS.2 applica un budgeting dell’attenzione a livello di layer, distribuendo in modo differenziato il “budget” di attenzione lungo la profondità del modello¹.
• ZAYA1-8B integra una forma di attenzione compressa, che riduce la complessità rispetto alla piena attenzione densa su tutto il contesto¹.
• DeepSeek V4 combina mHC con attenzione compressa per abbassare insieme memoria e calcolo nella gestione del lungo contesto¹.

L’obiettivo è pratico: ridurre la cache da mantenere, tagliare i movimenti di dati e contenere il costo dell’attenzione quando il numero di token cresce. Le modifiche non riguardano set di dati o programmi di addestramento, ma la forma del calcolo durante l’inferenza e, se usate, durante l’addestramento a lungo contesto¹.

Il KV sharing mira a un guadagno diretto: una sola cache riutilizzabile al posto di molte. La mHC cerca di coordinare le teste per comprimere ciò che serve davvero conservare. L’attenzione compressa applica l’attenzione piena solo dove conta, o usa rappresentazioni compresse per il resto¹.

S1 presenta queste tecniche come tendenze emergenti negli open-weight, ma non fornisce in questo contesto misure comparabili di risparmio per ciascun modello. L’effetto atteso, meno memoria e meno calcolo su finestre lunghe, resta quindi non quantificato qui. La valutazione comparativa richiede benchmark omogenei e metodi di misura allineati¹.

Resta da capire dove ogni scelta rende di più: quali layer beneficiano maggiormente del budgeting, quanto KV sharing riduce cache e traffico in pratica, e come l’attenzione compressa influisce sulla fedeltà al contesto. I casi citati offrono basi sperimentali per studiare questi compromessi in modo isolato dall’addestramento, perché espongono chiaramente le leve architetturali usate¹.

Fonti:¹ Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention (magazine.sebastianraschka.com)