MiMo V2.6 Flash gira su due Mac Studio collegati via Thunderbolt 5
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Una conversione community del modello Xiaomi da 309 miliardi di parametri è stata eseguita in locale su un M3 Ultra e un M5 Max, con risultati di benchmark inferiori alla cloud di Xiaomi.
Stessa build, due esiti: 0,6605 in locale su due Mac Studio, 0,7909 nel cloud di Xiaomi, a parità di modello MiMo‑V2.6‑Flash1.
La prova parte da una conversione community per MLX: “EigenLabs/MiMo‑V2.6‑Flash‑MOPD‑MLX‑4bit‑mtp”. Occupa 161 GB su SSD. Non ci sta su una singola macchina del setup. Neppure ciascuno dei due Mac Studio, preso da solo, la contiene1.
Il modello è un mixture of experts. Totale 309 miliardi di parametri, 15 miliardi attivi per token1.
Configurazione hardware dichiarata: un Mac Studio con M3 Ultra e 96 GB di memoria. Un altro con M5 Max e 128 GB. I 48 layer del modello sono stati divisi: 19 su un host, 29 sull’altro. Le macchine dialogano con un solo cavo Thunderbolt 5. Gli hidden state passano via RDMA. L’orchestrazione usa Goose Swarm, l’edizione dell’autore dell’agente open source goose agent1.
Il confronto di qualità si basa su un benchmark interno. L’esecuzione locale, con il componente vision caricato, ha costruito un’app pagamenti e ha totalizzato 0,6605. In cloud, la stessa MiMo‑V2.6‑Flash ha segnato 0,7909. Prima dell’applicazione del “3D ceiling”, i punteggi erano quasi allineati: 0,8309 in locale e 0,838 in cloud. Il “3D ceiling” ha creato il distacco finale1.
La scelta dei due nodi nasce dai vincoli di memoria. La conversione MLX a 4 bit è troppo grande per una sola macchina del loro parco. La soluzione è stata spezzare i layer, sincronizzare in tempo reale e far circolare gli hidden state con RDMA. Il collegamento avviene su un cavo Thunderbolt 5 singolo1.
Il contesto del modello è preciso: “MiMo‑V2.6‑Flash” di Xiaomi, MoE ampio con attivazione parziale per token. La build locale usa la conversione MLX pubblica citata. Goose Swarm coordina i due host con la ripartizione 19 e 29 sui 48 layer totali1.
Il post offre anche una lettura del divario. Senza il “3D ceiling”, i check ponderati davano 0,8309 al locale e 0,838 al cloud, valori quasi sovrapponibili. Il meccanismo di scoring ha inciso più delle differenze tra ambienti. La prova mostra che non basta far “entrare” i pesi. Conta tenere in passo due Mac in esecuzione1.
Elemento pratico: l’autore sottolinea che molte discussioni si fermano alla capienza. Qui il nodo è la sincronizzazione tra host e il trasporto degli hidden state. La gestione distribuita, anche su due sole macchine, introduce complessità che si riflette sul risultato del benchmark1.
Implica una cautela per chi valuta test locali contro cloud: il punteggio finale può dipendere da dettagli di scoring come il “3D ceiling”, non solo dall’hardware o dal modello. Chi guarda solo la metrica unica rischia di perdere la fotografia completa della pipeline di esecuzione1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 9/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 8,3/10 dopo 1 revisione.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.