I modelli MoE open hanno router opposti: da 384 esperti a top-1 su 128

DeepSeek-V4-Pro alza il tetto a 384 esperti routati e passa a top-6 con scoring sqrtsoftplus. Le prime tre layer usano hash routing, una mappa fissa token-esperto. DeepSeek-V3 selezionava top-8 con sigmoid e teneva un esperto shared sempre acceso¹.

I modelli Qwen3 originali tengono 128 esperti e instradano ogni token a 8, senza esperti shared, con un bilanciamento su batch globale. Qwen3.6-35B-A3B cambia corso: 256 esperti, 8 attivati più 1 shared dichiarato nella model card¹.

Llama 4 Maverick alterna layer densi e MoE. In ogni layer MoE un token va a 1 esperto shared e a 1 esperto su 128 routati. È un top-1 che richiama lo Switch Transformer. Il modello dichiara 17 miliardi di parametri attivi su 400 miliardi totali. La config omette i dettagli su gating e bilanciamento, come accade anche per gpt-oss¹.

gpt-oss-120b usa un router lineare su 128 esperti e tiene i migliori 4. Nella config non compaiono esperti shared. I pesi MoE arrivano in MXFP4: il pacchetto consente di far entrare il modello, 117 miliardi, su una singola GPU da 80 GB¹.

Le leve dei router sono cinque: numero di esperti, top-k per token, presenza di shared, funzione di scoring, metodo di bilanciamento. Si va da 8 esperti con top-2 in Mixtral a 384 in DeepSeek-V4-Pro con top-6. Alcuni modelli usano softmax top-k. Altri adottano sigmoid con bias di bilanciamento senza loss. Altri ancora fissano percorsi con hash routing o scelgono top-1 con capacità in stile Switch^1,2.

Un pattern ricorrente nei frontier open model del 2026 è il gating sigmoid con bilanciamento a bias senza loss. Il meccanismo evita una loss ausiliaria e regola i bias per distribuire il carico, con effetti su qualità e stabilità. Una misura di carico, MaxVio, cala da 0,72 a 0,04 su scala 1B in un test, insieme alla perplexity. L’expert-choice può far trapelare informazione futura nei modelli causali, con un calo anomalo della loss di circa il 10% in un test citato².

Mixtral porta un 4x di sparsità con 8 esperti e top-2. Llama 4 Maverick, con 128 esperti e top-1, arriva a 128x. Kimi K2 misura un dato pratico: una sparsità 48 richiede 1,69 volte meno FLOP rispetto a una sparsità 8 a parità di validation loss. Le config di Llama 4 Maverick e gpt-oss non indicano il metodo di gating o di bilanciamento¹.

In esperto-parallelismo multi-GPU, ogni scelta del router diventa traffico all-to-all. Le config rendono il routing auditabile. Etichette come “17B active” possono coprire router molto diversi^1,2.

Nota di metodo: la tabella comparativa cita card, config e report verificati il 7 novembre 2026. Alcuni progetti tacciono su gating e bilanciamento¹.

DeepSeek-V4 combina esperti shared con hash routing nelle prime tre layer, secondo le specifiche riportate^1,2.