Granite Switch 4.1 unisce chat, decisioni e trascrizioni in un solo modello

Granite Switch 4.1 permette di alternare chat, decisioni e trascrizioni dallo stesso endpoint, con memoria vicina al modello base, grazie ad adapter attivabili e a un encoder ASR integrato¹.

Il sistema arriva in due varianti, 8B e 30B. Tre componenti si attivano a richiesta: Decision aLoRA per il decision-making general-purpose, Guardian aLoRA per compiti di sicurezza, Granite-Speech-5.0-Turbo-CTC per la trascrizione. Nel post, Guardian risulta superiore in media a Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions e Clef-Flash nelle decisioni legate alla sicurezza. Granite-Speech-5.0-Turbo-CTC viene descritto come il modello ASR più veloce nella OpenASR Leaderboard, qui integrato per l’uso in trascrizione¹.

La composizione unisce i tre elementi con il modello base in un unico endpoint. Si gestiscono quindi chat, decisioni e input vocali nello stesso flusso, senza caricare modelli separati. L’obiettivo è offrire più capacità con meno GPU, mantenendo un footprint di memoria vicino al base¹.

Il blocco tecnico chiave sono gli Switch adapter: Activated LoRA ottimizzate per la cache. La cache KV generata dal modello base può essere riutilizzata in decisioni successive basate su adapter. Si evita lavoro ripetuto tra richieste ravvicinate. Il team segnala contributi a vLLM per accelerare l’inferenza con adapter a bassa rank. Un encoder ASR co-localizzato completa la pipeline, così si passa rapidamente da chat a decisione o a trascrizione senza cambiare endpoint¹.

Il punto operativo è il cambio di modalità dentro lo stesso servizio. L’integrazione dell’ASR come componente incorporata e l’attivazione selettiva degli adapter mirano a contenere il costo di passaggio tra compiti eterogenei. La dichiarazione è esplicita: la composizione consente di alternare chat, decisioni e parlato a velocità elevate¹.

Memoria e riuso si concentrano in un unico paragrafo: footprint allineato al modello base, adapter leggeri che si accendono solo quando servono, cache KV riutilizzabile, ottimizzazioni d’inferenza in vLLM. Il post non riporta numeri puntuali su latenza o VRAM utilizzata, insiste però sulla direzione: più efficienza rispetto a orchestrare componenti separati¹.

Per l’uso pratico, il valore sta nell’evitare percorsi frammentati: un endpoint unico gestisce tre tipi di richieste, con possibilità di riusare la cache KV tra fasi. Guardian aLoRA indirizza i casi in cui la sicurezza pesa di più. Granite-Speech-5.0-Turbo-CTC copre la trascrizione veloce. La conversazione testuale resta sulla stessa architettura, senza cambiare modello o endpoint¹.

La scelta di contribuire a vLLM amplia l’impatto: le ottimizzazioni sugli adapter non restano chiuse nel perimetro Granite e possono beneficiare l’ecosistema di inferenza aperta¹.