Centralizzato vs edge: come investimenti, infrastrutture e modelli ridisegnano dove gira l'AI

Dieci miliardi di dollari in sei anni: Anthropic compra calcolo da Volta, con un data center in Norvegia da 133 megawatt basato su sistemi Nvidia Vera Rubin e sviluppo cui partecipa anche Bitdeer. Sul versante opposto, MiniMax‑H3 gira su un MacBook Pro M5 Max attraverso una porta MLX pubblica, con comandi replicabili e clip video da 15 secondi generate in locale. La tesi: si consolida un dualismo operativo. La scala vive nei data center specializzati; inferenza e agenti avanzano sui device.

1) La spinta alla centralizzazione: accordi e capacità su scala industriale

L’accordo tra Anthropic e Volta fissa paletti chiari: fornitura di calcolo per sei anni, valore 10 miliardi di dollari, Volta nel programma Nvidia Cloud Partner. Bloomberg pubblica per prima; TechCrunch chiede conferme ad Anthropic. Bitdeer partecipa allo sviluppo del data center norvegese, con obiettivo 133 megawatt e sistemi Nvidia Vera Rubin. Segnale operativo: impegni pluriennali, tecnologia nota, controllo dell’impianto.

Questa traiettoria serve training e servizi con domanda stabile. Conta la filiera hardware e l’integrazione di stack. Le economie di scala garantiscono capacità prevedibile e continuità. La scelta di sistemi Nvidia Vera Rubin indica una piattaforma allineata ai piani dei provider che usano GPU Nvidia nei propri data center.

2) Infrastrutture locali e regionali: il ruolo pubblico‑privato per democratizzare il calcolo

La National Science Foundation lancia gli State and Regional Artificial Intelligence Infrastructure Hubs per portare calcolo, dati, software e competenze vicino ai campus. Modello consortile: reti di college e università che condividono risorse e personale. Collaborazioni possibili con industria, fondazioni e governi statali e locali. NVIDIA aderisce. L’iniziativa si allinea alla Genesis Mission e punta a ridurre barriere di accesso e frammentazione tra campus, offrendo capacità locale o regionale, strumenti software comuni, set di dati condivisi e supporto tecnico.

Qui non servono mega‑impianti isolati, ma prossimità di servizi e governance territoriale. Per ricerca e didattica il compromesso cambia: minore dipendenza da grandi data center esterni, maggiore coordinamento tra istituzioni. L’obiettivo è distribuire capacità abbastanza vicina a docenti, studenti e ricercatori per sbloccare uso quotidiano e formazione pratica.

3) Storage e servizi dati: il collo di bottiglia che determina l’efficacia del calcolo accelerato

Un numero secco al Future of Memory and Storage: 3,21x. La CPU NVIDIA Vera, integrata in BlueField‑4 STX, supera una CPU x86 in un test di compressione a due stadi. Non conta solo il benchmark. Il segnale è operativo: servizi dati e storage possono strozzare il calcolo quanto le GPU se pipeline di cifratura, compressione, verifica e ricostruzione saturano sotto carico.

Lo scenario è cambiato. Finestre di contesto e dataset superano la memoria di sistema. Le GPU non aspettano la CPU: avviano richieste di I/O direttamente, in massa, generando migliaia di operazioni concorrenti verso lo storage. Se la coda cresce, il throughput crolla. L’architettura di storage diventa moltiplicatore o freno del calcolo accelerato. Vale nel grande cloud e negli hub regionali: scegliere dove eseguire un carico significa valutare servizi dati e percorsi di I/O, non solo contare GPU.

4) L’altra faccia: modelli e porting che spingono l’esecuzione ai device

Due fatti concreti spostano l’asticella sull’edge. Primo: LFM2.5‑2.6B punta a “Deploy local agents everywhere.” Su Apple M5 Max genera 220 token al secondo. Su una CPU AMD Ryzen tocca 113 token al secondo. Richiede meno di 2,5 GB di memoria in inferenza. Gli autori parlano di prestazioni competitive con modelli quattro volte più grandi in uso di strumenti, seguire istruzioni e task multi‑step. Il percorso di addestramento è esplicito: pre‑training su circa 34 trilioni di token; “mid‑training” che amplia la finestra a 128.000 token; post‑training in quattro stadi per trasformare il base model in un agente, con due round di Supervised Fine‑Tuning su dati agentici, “teacher specialization” per matematica, codice e tool use, e “Multi‑domain On‑Policy Distillation” per fondere gli specialisti in uno studente unico.

Secondo: MiniMax‑H3, descritto da MiniMax come “un sistema generativo omni‑modale di uso generale” che accetta testo, immagini, audio e video e può generare clip video fino a 15 secondi con audio, gira su Apple Silicon tramite una porta MLX. Un pacchetto Python nel repository “PipeNetwork/minimax‑h3‑mlx” lo esegue su MacBook Pro M5 Max. L’autore pubblica i comandi usati, inclusi i download via huggingface_hub e la generazione del video da prompt testuale. Il post è datato 4 agosto 2026.

Due percorsi, stessa meta: agenti rapidi e multimodalità senza passare da un data center. Latenza ridotta. Meno trasferimenti di dati sensibili. Costi ricorrenti del calcolo remoto abbattuti. Restano vincoli: serve ottimizzazione software (MLX, pacchetti mirati) e modelli disegnati per memoria e throughput contenuti.

5) Come si decide dove eseguire un carico: vincoli tecnici, commerciali e di governance

Il quadro non è binario. Tre livelli coesistono e rispondono a bisogni diversi.

• Data center specializzati. Offrono scala, continuità e piattaforme omogenee. Lo mostrano i sei anni e i 10 miliardi dell’accordo Anthropic‑Volta e l’obiettivo da 133 megawatt in Norvegia con sistemi Nvidia Vera Rubin. Qui la priorità è sostenere training e servizi ampi, con supply chain e orchestrazione su vasta scala.

• Hub statali e regionali. Portano capacità, dati, software e competenze vicino ai campus, con reti consortili e collaborazione con industria e governi. NVIDIA aderisce al programma NSF, che mira a ridurre barriere di accesso e frammentazione tra campus. Questo livello intermedio serve ricerca e didattica a bassa latenza territoriale, con governance condivisa.

• Edge device. Con modelli come LFM2.5‑2.6B che girano in meno di 2,5 GB e raggiungono 220 token/s su Apple M5 Max e 113 token/s su CPU AMD Ryzen, e con porting come MiniMax‑H3 su MLX per generare video da 15 secondi con audio su MacBook Pro M5 Max, l’inferenza locale diventa praticabile per agenti e workload multimodali.

La decisione pratica dipende da tre vincoli. Dati: sensibilità, volume, necessità di condivisione. Latenza: interattività e risposta in tempo reale. Servizi dati: capacità dello storage e dei percorsi di I/O, alla luce della pressione concorrente delle GPU e del rischio di code che abbattono il throughput. I grandi impianti centralizzati risolvono scala e continuità, ma devono trattare i servizi dati come parte calda della pipeline. Gli hub regionali mitigano distanza e frammentazione. L’edge riduce la superficie di scambio con modelli progettati per stare entro pochi gigabyte.

Per chi progetta sistemi AI, serve una strategia composita. Training e servizi ampi vanno dove la scala è garantita. Inferenza e agenti sensibili o interattivi restano sui device o su infrastrutture vicine quando modelli e strumenti lo consentono. La conta delle GPU non basta. Conta la qualità dell’interfaccia tra calcolo, dati e persone che lo usano.

Se gli hub NSF riducono barriere vicino ai campus e i modelli agentici accelerano in pochi gigabyte, la prossima scelta cruciale può riguardare i percorsi di I/O: chi progetta dovrà mettere storage e servizi dati in testa all’architettura, non tra i dettagli d’implementazione.