AI centralizzata vs locale: come i lanci recenti ridisegnano controllo, costi e rischi

Trentasei milioni di visualizzazioni in nove ore. Centosessantaquattromila like. OpenAI spinge GPT‑6 Astra come “il nostro modello più intelligente e allineato” e catalizza il dibattito più intenso dai tempi di Sora. Mentre l’attenzione si concentra su un modello proposto da OpenAI, NVIDIA apre l’altra via: inferenza locale più rapida, carichi distribuiti in casa con PAIR e nuovi PC RTX Spark. In mezzo, Abliteration.ai pubblica versioni senza guardrail di modelli open‑weight, accessibili via browser o API. La biforcazione è netta: centralizzazione e allineamento da una parte, esecuzione locale e pesi aperti (anche “sbloccati”) dall’altra. Per chi costruisce e testa agenti, è una scelta di architettura ma anche di governance di dati, costi e rischi.

1) Due strategie sul piatto

OpenAI presenta Astra come strumento per uso del computer, ingegneria del software, matematica e scienze, lavoro d’ufficio accurato e cybersecurity. Il messaggio arriva dai canali ufficiali e viene ricostruito da AINews. La metrica di lancio è l’ingaggio: 36 milioni di visualizzazioni e 164.000 like nelle prime nove ore. AINews lo definisce il lancio più riuscito dai tempi di Sora e lo legge come risposta ai progressi di Anthropic con Fable e Opus, con SpaceXAI e Google DeepMind nel perimetro competitivo. Nessun benchmark tecnico nei recap ufficiali, solo segnali d’attenzione del pubblico.

Gli unici numeri di performance arrivano da un accesso anticipato di Latent Space: 97,6% su FrontierMath e 99,9% su ARC‑AGI‑3. Gli autori descrivono Astra come un “AI Engineer” che orchestra sub‑agent, distribuisce e fa debug di sistemi end‑to‑end, mantiene pipeline sature, strumenta e legge i log. Dicono di aver consumato oltre 20 miliardi di token su compiti pratici, valutando il modello su attività reali. Parlando di costi, scrivono di poterlo “assumere” per meno di 6 dollari l’ora. Specificano che sono esiti del loro uso, non promesse di marketing.

Sul fronte opposto, NVIDIA porta l’AI in locale e disegna una catena coerente: ottimizzazioni di inferenza fino a 1,9× in llama.cpp e vLLM, fruibili anche via LM Studio e Ollama; PAIR per ripartire i carichi tra PC sulla stessa rete; debutto a ottobre dei PC Windows RTX Spark con Lenovo e Acer, con Microsoft tra i partner. PAIR, software open‑source sviluppato da NVIDIA, scopre i dispositivi compatibili, li collega e li prepara al carico dei flussi “agentici”. Lavora su GPU GeForce RTX dalla serie 20 in poi, GPU RTX Pro, sistemi DGX Spark e, lato Apple, su M4 e successivi. Non introduce nuova infrastruttura: coordina ciò che c’è già.

Infine, Abliteration.ai abbassa i filtri. Mette online versioni “sbloccate” di modelli open‑weight, come GLM‑5.3 di Z.ai, senza guardrail. L’endpoint si usa dal browser o via API. Il posizionamento è esplicito: offensive cyber, red‑teaming e agent testing “che altri modelli rifiutano di fare”. La descrizione riconosce il trade‑off con potenziali usi pericolosi.

2) Cosa cambia per chi sviluppa e testa

Chi controlla i dati? Con Astra, controllo e allineamento restano centrali nella presentazione pubblica. L’esperienza d’uso riflette l’enfasi sull’allineamento e sugli ambiti d’uso dichiarati dai canali ufficiali. Con PAIR e l’inferenza locale, i dati e l’esecuzione si spostano nel perimetro dell’utente. La rete domestica o d’ufficio diventa il luogo di elaborazione. La logica è sfruttare momenti di inattività di desktop e laptop senza introdurre un router fisico o nuovi apparati.

I costi operativi si riallineano. Un modello servito come Astra implica una spesa di inferenza legata al consumo. Latent Space parla di meno di 6 dollari l’ora per certi flussi, nel loro uso, e descrive la capacità di orchestrare sub‑agent come leva di produttività. L’esecuzione locale sposta l’attenzione su capitale hardware e su efficienza software. NVIDIA dichiara fino a 1,9× di velocità in inferenza rispetto a prima sulle stesse macchine, con ottimizzazioni già integrate in progetti come llama.cpp e vLLM e raggiungibili da strumenti come LM Studio e Ollama. Il differenziale di latenza e di costo dipende quindi dalla disponibilità di GPU in rete e dall’efficienza delle pipeline locali.

Il testing cambia tono e strumenti. Modelli centralizzati richiedono approcci che tengono conto dell’allineamento e degli ambiti d’uso dichiarati. Lato red‑team, un servizio senza guardrail come Abliteration.ai produce output che altri sistemi negano. Serve a riprodurre minacce e valutare difese, come dichiarato dalla piattaforma, ma abbassa la soglia di accesso a istruzioni potenzialmente pericolose. Il trade‑off è intrinseco e riconosciuto dal servizio stesso. Su locale, il banco di prova si sposta anche sull’orchestrazione: catene agentiche che spezzano compiti in sotto‑attività indipendenti funzionano meglio quando più nodi lavorano in parallelo, come prevede lo schema disaggregato di PAIR.

3) Infrastrutture e strumenti che rendono la biforcazione praticabile

PAIR fa da collante. È software, non hardware. Rileva i PC idonei sulla rete, li collega e distribuisce l’inferenza. Supporta GeForce RTX dalla serie 20, RTX Pro, DGX Spark e anche Apple M4 e successivi. Somma capacità, non rimpiazza una macchina con un’altra. Mira a sfruttare i periodi di inattività, così da non ostacolare l’uso quotidiano dei dispositivi.

NVIDIA lega PAIR a ottimizzazioni disponibili subito in llama.cpp e vLLM, anche attraverso LM Studio e Ollama, e a una linea hardware dedicata: i PC Windows RTX Spark in arrivo a ottobre, con i primi modelli da Lenovo e Acer e con Microsoft tra i partner. Nel perimetro gaming compaiono Electronic Arts, Embark e Ubisoft. L’azienda descrive RTX Spark come sistemi compatti pensati per eseguire agenti in locale, con attenzione alla sicurezza. Insieme, questi tasselli rendono praticabile la scelta locale usando dispositivi già presenti e nuovi sistemi dedicati.

Sul fronte centralizzato, la capacità di orchestrazione di Astra, come riportata da Latent Space, consente di aprire “a ventaglio” sub‑agent, coordinarli e valutarli, anche quando chiamano altri modelli. Gli autori parlano di coerenza per lunghi orizzonti di token e di operatività end‑to‑end su compiti reali. È un profilo da “modello operativo”, non da demo. La divergenza è chiara: l’una via punta a un allineamento forte con orchestrazione avanzata, l’altra a decomporre e distribuire il carico vicino all’utente, sfruttando ciò che è già in rete.

4) Metriche, governance e rischi residui

Nel racconto del lancio, la metrica decisiva non sono i benchmark comparativi ma l’ingaggio pubblico: 36 milioni di visualizzazioni e 164.000 like in nove ore. AINews parla del “più grande” lancio recente di OpenAI e lo legge anche come risposta a Fable e Opus, senza avanzare previsioni sulle mosse altrui. I team tecnici cercano invece segnali di prestazione su compiti concreti: Latent Space fornisce percentuali su FrontierMath e ARC‑AGI‑3, più un resoconto di utilizzo intensivo in produzione simulata.

Sul versante locale e open‑weight, la trasparenza di esecuzione cresce ma si sposta il baricentro del rischio. Un endpoint senza guardrail, come quello di Abliteration.ai, abilita red‑teaming e agent testing “che altri modelli rifiutano”, ma rende più semplice accedere a output che includono istruzioni o codice d’exploit. Il servizio esplicita questa ambivalenza e ne riconosce il trade‑off. Con PAIR, il carico si frammenta tra dispositivi di casa o d’ufficio. Aumentano i punti di osservazione e di possibile errore, pur senza introdurre nuova infrastruttura fisica.

Per chi deve mettere in produzione agenti, la scelta oggi non è binaria. I fatti indicano due strade mature e, sempre più spesso, combinabili: orchestrazione con allineamento dichiarato da un lato; inferenza locale accelerata, disaggregata e integrata con strumenti diffusi dall’altro. Sul piano della sicurezza, l’emersione di endpoint senza guardrail per scopi di test aggiunge un terzo elemento da considerare nei processi e nelle policy. La prossima ondata di decisioni tecniche passerà da qui: come comporre questi pezzi per massimizzare utilità e minimizzare esternalità, mentre i numeri di attenzione continuano a guidare la narrazione pubblica.