DeepSeek rilascia DeepInfer, motore di inference open source
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Il runtime distribuito supporta DeepSeek-V4.1-Flash e offre kernel ottimizzati, parallelismi e verifiche a schedulazione per inference offline e serving a scala.
DeepSeek ha pubblicato su GitHub DeepInfer, il framework di inference che usa in produzione e che ora rende disponibile in open source. La release copre l’inference offline e mette a disposizione le funzioni considerate core per il serving su larga scala1.
Il repository indica un modello supportato: DeepSeek-V4.1-Flash. Sono presenti un runtime ottimizzato per il modello e uno per il sampler. Tra le proprietà operative compaiono batch-invariant inference, deterministic sampling e structured outputs1.
Il progetto elenca i kernel inclusi. Compresi FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect e kernel scritti con TileLang. Le ottimizzazioni toccano tre livelli: kernel, runtime del modello e runtime del sampler1.
Sul fronte della parallelizzazione, la documentazione cita tre modalità: Attention DP, balanced CP e MoE EP con EPLB. L’elenco non include esempi, resta descrittivo1.
Per il decoding, DeepInfer integra DSpark e una verifica schedulata in base alla confidenza. Il flusso prevede token di bozza e stime di confidenza per decidere quando verificare. Due variabili controllano il comportamento: DEEPINFER_ENABLE_MTP_VARLEN=1 abilita sequenze a lunghezza variabile, DEEPINFER_USE_NEXTN_DECODE imposta la lunghezza massima della bozza, con valore predefinito 51.
Il decoder implementa SWA bounded replay per ridurre il lavoro di prefill rigiocando solo un suffisso limitato. La nota di configurazione indica due impostazioni predefinite associate a V4.1: DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact e DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140. La documentazione cita esplicitamente questi valori insieme alla descrizione della tecnica1.
La gestione delle richieste adotta uno scheduling asincrono. Il repository descrive uno zero-overhead batch scheduler nella sezione dedicata alle funzionalità1.
La pagina GitHub riunisce codice e documentazione. Riporta l’elenco dei kernel, le opzioni di parallelismo e le variabili di ambiente per abilitare le singole funzioni. Include anche i parametri per DSpark e la verifica basata su confidenza, come DEEPINFER_ENABLE_MTP_VARLEN=1 e DEEPINFER_USE_NEXTN_DECODE, e quelli per SWA bounded replay, come DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact e DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=1401.
Il perimetro della release è netto: offline inference, funzioni core, un modello specifico. L’attenzione cade su ottimizzazioni a basso livello e sul controllo fine del decoding. La scelta di pubblicare il framework nelle sue parti operative, con kernel nominativi e variabili esplicite, consente test mirati e confronti riproducibili senza introdurre dettagli non documentati1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 10/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 8,2/10 dopo 1 revisione.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.