LiquidAI rilascia LFM2.5‑VL‑DSpark: inferenza VLM fino a 3.13× più veloce

Decode fino a 3.13× più rapido su device e 2.66× su GPU H100. LiquidAI presenta LFM2.5‑VL‑DSpark, estensione multimodale dello speculative decoding DSpark, con guadagni end‑to‑end fino a 2.62× su device e 2.27× su H100. Il sovraccarico resta contenuto: 280 milioni di parametri in più, pari all’8,9% su un target da 3 miliardi¹.

DSpark arriva ai modelli vision‑language con un obiettivo netto: ridurre i tempi di inferenza senza far esplodere la memoria. Le misure pubblicate coprono sia il solo decoding sia il percorso end‑to‑end, in contesti on‑device e datacenter H100¹.

Cuore dell’approccio: uno speculative drafter per il multimodale. Riusa l’architettura dei drafters testuali LFM2.5‑DSpark e “tappa” un insieme fisso di layer del modello target per leggere gli stati nascosti. Patch d’immagine e token di testo vengono proiettati in uno spazio condiviso prima dei layer tappati, così il drafter opera su vettori della stessa dimensionalità a prescindere dalla modalità. L’algoritmo di inferenza resta quello dei modelli di solo testo¹.

Addestramento e scelte di progetto seguono la ricetta DSpark. Dati SFT vision‑language, pesati sui carichi attesi; ablation su 3, 4 e 5 layer; scelta finale: drafter semplificato, solo‑attenzione, con 4 layer e block size 9¹.

Risultati

• Decoding: fino a 3.13× più veloce su device; fino a 2.66× su H100¹.
• End‑to‑end: fino a 2.62× su device; fino a 2.27× su H100¹.
• Memoria: +280 milioni di parametri, pari all’8,9% su un target da 3 miliardi¹.

Le cifre sopra si riferiscono al rapporto tra costo (sovraccarico del drafter) e beneficio (accelerazioni misurate) nel contesto vision‑language descritto da LiquidAI¹.

Sul piano dell’integrazione, il progetto arriva “day‑one” su tre stack: llama.cpp, MLX‑VLM e SGLang. Le integrazioni sono etichettate come DSpark‑compatibili¹.

Due scelte tecniche sostengono l’estensione al multimodale. Primo: la proiezione di patch visive e token testuali in una rappresentazione comune prima dei layer tappati. Secondo: l’uso di un set fisso di tap del target per alimentare il drafter, che poi propone un blocco di k token candidati. Insieme, questi elementi consentono di mantenere invariata la meccanica d’inferenza rispetto ai modelli di testo¹.

La configurazione selezionata nasce da ablation mirate. I test su 3, 4 e 5 layer portano a un compromesso pratico: quattro layer, block size 9, architettura attenzione‑only. Il training impiega un mix SFT multimodale orientato ai casi d’uso previsti. Secondo le metriche comunicate, questa scelta bilancia semplicità del drafter e guadagni di velocità¹.

Chiusura operativa: algoritmo di inferenza invariato e supporto “day‑one” su llama.cpp, MLX‑VLM e SGLang riducono attriti di adozione nell’ecosistema DSpark segnalato da LiquidAI¹.