Quando memoria, rete e inference ridefiniscono dove far girare i modelli AI

Un “leading hyperscaler” ha ordinato 40 milioni di dollari di fibra a nucleo cavo a Relativity Networks. Nello stesso contesto di mercato, i prezzi della DRAM risultano quintuplicati in dodici mesi, con i grandi acquirenti che bloccano capacità fino al 2027. In parallelo, Etched incassa 700 milioni di dollari per vendere cluster completi di inference. La tesi: rincari della memoria, nuove reti a bassa latenza e sistemi dedicati per l’inference stanno spostando decisioni su dove e come eseguire i modelli, mentre il model routing diventa un’operazione centrale, non un dettaglio tecnico.

1) Il prezzo della memoria comprime i costi del calcolo

AINews parla di “memory crunch”. In dodici mesi i prezzi della DRAM sono saliti del 500%. I kit DDR5 da 128 GB costano dieci volte il loro minimo storico. La stessa fonte indica prezzi “scollegati dai fondamentali” e scarsità persistente.

Gli hyperscaler hanno reagito bloccando la produzione fino al 2027. Hanno versato depositi per garantirsi la fornitura. AINews non nomina i singoli operatori né i volumi; riporta però che la capacità globale risulta prenotata in avanti.

Per chi costruisce e gestisce sistemi ML, la memoria pesa su costi e scelte. Incide sul totale di esercizio, sui tempi di approvvigionamento, sulle architetture dei carichi. Quando la DRAM si fa cara e scarsa, ridurre l’impronta RAM e tagliare lo spreco diventa un tema operativo.

2) L’inference come prodotto e la corsa all’hardware dedicato

Etched ha chiuso un round da 700 milioni di dollari a una valutazione di 21 miliardi. Jane Street ha prima testato e acquistato i sistemi, poi ha guidato il finanziamento. La progressione è documentata: a dicembre 5 miliardi; a luglio Series C da 300 milioni a 10,3 miliardi; un mese dopo 21 miliardi con i nuovi 700 milioni. La startup vende sistemi completi, definiti “frontier inference clusters”, non solo chip.

Il cofondatore e COO Robert Wachen indica l’inference come centro del lavoro. Descrive due fasi operative distinte. Nella “prefill” il sistema elabora il prompt e il contesto. È la fase più intensiva sul piano matematico e computazionale. L’obiettivo commerciale è fornire cluster pronti all’uso per l’inference.

Questo sposta l’attenzione dal componente alla piattaforma. La domanda non cerca solo acceleratori, ma sistemi di inference ben integrati. In uno scenario in cui la memoria pesa sui costi e sulla disponibilità, un cluster ottimizzato può allineare risorse e carichi. Il compromesso tra cloud pubblico e infrastruttura dedicata cambia quando il carico è costante e l’ottimizzazione dell’inference diventa un vantaggio misurabile.

3) Rete a bassa latenza e nuovi materiali influenzano la topologia dei data center

Relativity Networks sviluppa fibra “hollow‑core”. A differenza della fibra tradizionale, guida la luce in un canale d’aria al centro del cavo. Secondo l’azienda, questa geometria permette di trasmettere i dati fino al 30% più velocemente rispetto alla fibra convenzionale. La stessa fonte definisce la tecnologia “raramente implementata” oggi.

Un “leading hyperscaler” ha ordinato 40 milioni di dollari di questa fibra. Relativity ha anche raccolto 22 milioni di dollari in SAFE note, con partecipazione di Rhapsody Venture Partners, Bell Ventures Inc. e Faster Than Glass LLC. L’azienda non ha rivelato il nome del cliente né dettagli operativi dell’ordine. Il dato disponibile è l’impegno economico su una tecnologia poco diffusa.

Se si riduce la latenza tra siti o si aumenta la velocità su tratte critiche, il posizionamento dei carichi può cambiare. Carichi finora accorpati per limiti di rete possono distribuire lo stato tra più nodi. Una dorsale più veloce può spostare convenienza e fattibilità di architetture in cui la latenza di rete condiziona l’inference in tempo quasi reale.

4) Model routing e ibridazione: come mettere insieme costi, latenza e capacità

Stripe ha acquisito OpenRouter per oltre 7 miliardi di dollari. Il segnale è la centralità del model routing: scegliere il modello giusto per ogni richiesta e, quando serve, evitare proprio un LLM. Arvind Jain, cofondatore e CEO di Glean, lo dice esplicito: “Un grande obiettivo di Glean è evitare gli LLM per i compiti in cui non servono.” Sommare o moltiplicare due numeri richiede un calcolatore, non un modello linguistico.

La spinta arriva da due forze congiunte. I frontier model restano costosi in produzione. Gli open‑weight migliorano e si diffondono. Esempi citati: Kimi K3 e Qwen3.8‑Max. Ne esce una regola pratica: usare un modello di punta quando porta valore netto, un open‑weight quando basta, o una logica più semplice quando conviene.

Il “routing” diventa un atto operativo quotidiano. Non basta un catalogo di opzioni: serve inviare ogni richiesta al modello adatto e al vincolo di costo. L’interesse, nota Glean, è forte nelle imprese oltre che nel consumer. Con la DRAM a +500% e capacità prenotate fino al 2027, evitare inferenze inutili o superflue diventa parte della gestione del margine.

Mettendo insieme i pezzi, l’architettura tende a ibridarsi. Sistemi di inference come prodotto, reti più veloci su tratte selezionate, modelli open‑weight più maturi e un router che fa scelte a ogni chiamata. L’obiettivo è doppio: tenere sotto controllo la spesa e rispettare vincoli di latenza sul percorso dati reale. Gli esempi concreti arrivano dai soldi in gioco e dagli impegni di fornitura: 700 milioni a Etched per cluster, 40 milioni su hollow‑core, prenotazioni DRAM con depositi fino al 2027.

Cosa monitorare per decisioni architetturali

• Prezzi e disponibilità della DRAM. Il +500% in dodici mesi e i kit da 128 GB a dieci volte il minimo storico indicano un fattore di rischio che condiziona TCO e scalabilità.
• Offerte di inference “chiavi in mano”. La traiettoria di Etched e la definizione di “frontier inference clusters” segnalano dove si sposta il valore, dal chip al sistema completo.
• Adozione di reti a nucleo cavo. La tecnologia è “raramente implementata” ma muove ordini da decine di milioni. Capire dove e come si installa può indicare nuove soglie di latenza praticabili.
• Maturazione degli open‑weight e strumenti di routing. L’operatività dipenderà dalla capacità di indirizzare ogni richiesta al livello minimo utile: frontier quando serve, open‑weight quando basta, o logiche semplici come alternativa.

Se questi tre assi restano tesi — memoria cara, spinta su cluster d’inference e reti più veloci su tratte critiche — i contratti di fornitura e i router di modello entreranno nel perimetro delle scelte strategiche, accanto a quale LLM usare o addestrare.