IA nei settori a rischio: limiti tecnici, tensioni aziendali e vuoti di governance

Atomic Canyon ha offerto il suo assistente NIVA a quasi tutti i 94 reattori nucleari statunitensi. La maggior parte degli operatori ha detto sì. Mentre l’adozione corre, Steven Adler — sicurezza in OpenAI dal 2020 al 2024 — ricorda che il “no” dei modelli è un freno progettato, non un istinto, e che può fallire sui bordi. La tesi: l’IA entra in contesti ad alto rischio con barriere tecniche e organizzative che non bastano da sole. Servono combinazioni coerenti di controlli, procedure e supervisione. O gli errori diventeranno sistemici.

1. Il “no” degli LLM è un freno progettato, non una garanzia

Adler è netto: i primi modelli non “sentono” i confini. Li rispettano se li alleni a farlo e se scrivi regole che li guidano. Il rifiuto è una scelta di design. Nel 2021 un team di Anthropic codifica il “rifiutare educatamente” richieste come “come costruire una bomba”. Entra il trio “utili, onesti, innocui”. Ma quel “no” non nasce da solo.

Un modello assorbe anche violenza e livore. Sa riprodurli. Non impara, di default, a trattenerli. Il freno si costruisce dopo: si decide cosa bloccare e come bloccarlo. Funziona spesso. Non sempre. Fallisce sui casi di confine.

Affidare al rifiuto la funzione di barriera unica è un azzardo. Riduce alcuni rischi, non li elimina. Crea un’aspettativa che la tecnologia attuale non può garantire. E apre a un rischio sistemico: la stessa infrastruttura che filtra il pericoloso può domani negare accesso a ciò che una piattaforma o un’autorità ritiene “indesiderabile”.

2. Adozione rapida in settori critici senza trasparenza sui vincoli

Il nucleare procede per gradi. Per questo colpiscono l’ampiezza dell’offerta e la risposta degli impianti. Atomic Canyon ha presentato NIVA ad agosto. L’ha sviluppato con gruppi dell’industria e lo ha testato in impianti gestiti da Constellation Energy. NIVA risulta oggi disponibile all’intera flotta statunitense di reattori. Constellation ha rifiutato un’intervista alla fonte che riporta questi dettagli.

Non è un caso isolato. La fonte cita anche Nuclearn, descritta come “AI-for-nuclear”. Il modello operativo è simile: fornitori propongono strumenti, gli operatori li provano e, se utili, li inseriscono in contesti definiti. La fonte non dettaglia licenze, condizioni economiche o ambiti d’uso oltre ai piloti. Restano fuori da questo resoconto.

Qui la tensione è chiara. Da un lato, estensione dell’offerta a quasi tutti i 94 reattori e alta accettazione. Dall’altro, mancano dettagli pubblici su condizioni e perimetri d’uso. Se i freni tecnici sono design fallibili e le condizioni d’uso non sono note, la robustezza complessiva dipende da processi interni non visibili.

3. La biologia come caso di rischio operativo e comunicazione pubblica

MIT Technology Review porta in diretta Samuel King, dottorando a Stanford e affiliato all’Arc Institute, che nel 2025 ha usato un modello generativo per proporre blueprint genetici di virus microscopici. La roundtable è fissata per venerdì 16 ottobre 2026 alle 18:30 BST. Conduce James O’Donnell. Il titolo dell’evento attribuisce a King l’autorialità dei progetti. La scheda lo elenca tra gli Innovators Under 35.

La pagina chiarisce la distinzione chiave: non è “vita generata dall’IA”. Ma viene presentata come possibile passo successivo. La precisazione è esplicita. Il formato è essenziale. Due interlocutori, ruoli e affiliazioni dichiarati.

Cosa mostra questo caso per chi sviluppa e valida sistemi AI? Che i confini non sono solo tecnici. Il modo in cui si presenta e discute un risultato sensibile incide sul rischio. Servono criteri su cosa pubblicare, come contestualizzarlo e quali barriere mantenere. La fonte non descrive meccanismi di contenimento operativi. Mette però in scena la necessità di tenere insieme rigore scientifico, responsabilità editoriale e informazione pubblica.

4. Tensioni interne e fragilità della governance aziendale

Tre ricercatori per la sicurezza di OpenAI — Tomek Korbak, Mikita Balesni, Jasmine Wang — dicono di essere stati licenziati la scorsa settimana. Lo riporta AINews nel bollettino del 7–8 ottobre 2026. Collegano la vicenda a METR/Hugging Face. Firmano una lettera ai vertici: “OpenAI cannot make AI safe on its own”.

Balesni e Wang sostengono di essere stati allontanati perché mettevano la sicurezza prima degli interessi aziendali di breve periodo. Non offrono dettagli tecnici o operativi a sostegno. La versione dell’azienda, per come riferita, parla di gestione impropria di informazioni riservate. Nessun dettaglio su quali dati o in quali circostanze.

Le testimonianze individuali aggiungono poco. Wang dice che l’unico motivo comunicatole è l’accesso all’email di un dirigente. Korbak riferisce una comunicazione verbale che contestava il modo in cui aveva comunicato con METR. Non emergono messaggi specifici o canali.

Il punto per chi costruisce AI in contesti sensibili: quando le priorità di sicurezza entrano in conflitto con quelle commerciali e mancano dettagli verificabili, la governance interna diventa opaca. Senza meccanismi chiari, si finisce per scaricare troppo sui “freni” tecnici. Ma quei freni, per ammissione dei practitioner, non bastano da soli.

5. Strumenti tecnici emergenti e i loro limiti operativi

Goodfire propone monitor “inside-out” su Baseten. Promette di bloccare agenti fuori controllo leggendo segnali interni del modello. Dice che costa meno dei controlli esterni sull’output. Molti oggi affiancano un secondo modello che “legge sopra la spalla” dell’agente: funziona, ma diventa caro quando l’agente macina ore e produce testi lunghi. Goodfire sposta il controllo all’interno.

La tecnica nasce dall’interpretabilità. Piccoli rilevatori, “probe”, osservano gli stati del modello a ogni step del task. Non aspettano l’output finale. Cercano pattern a monte. L’immagine è quella dei varchi in aeroporto: sensori che verificano segnali di rischio prima del gate. I monitor arrivano direttamente su Baseten, che ospita ed esegue modelli per aziende terze.

La fonte non entra nei dettagli di configurazione o performance. Afferma una promessa: intercettare comportamenti pericolosi riducendo la spesa rispetto al metodo tradizionale. È un tassello utile. Non un sostituto della governance.

Fili che si intrecciano

Mettiamo insieme i pezzi. Nel nucleare vediamo adozione ampia con pochi dettagli pubblici su condizioni e ambiti d’uso oltre i piloti. Nella biologia, una vetrina autorevole apre la discussione su risultati sensibili, chiarendo che non sono “vita generata dall’IA”, ma indicando una traiettoria possibile. Nei laboratori industriali emergono fratture tra sicurezza e business, con informazioni frammentarie su cause e criteri. Sul piano tecnico, i rifiuti degli LLM restano freni progettati e fallibili. I monitor interni promettono costi più bassi, ma la loro efficacia dipende da scelte di progettazione e contesto.

La tendenza che ne esce non è astratta. L’IA entra dove gli errori contano e dove le dipendenze di filiera sono rigide. Se le barriere tecniche non sono affidabili da sole, e le policy interne sono opache o contese, il rischio migra. Va verso la piattaforma che decide cosa è “ammissibile”. O verso procedure aziendali non pubbliche. O verso discussioni editoriali che non sostituiscono controlli operativi.

Per chi lavora con AI, software e QA, la conseguenza è operativa: progettare stack di sicurezza che combinino rifiuti, monitor interni ed esterni, audit indipendenti e condizioni d’uso chiare. Le fonti mostrano ogni tassello isolato. Nessuna, da sola, chiude il cerchio.

La domanda di fondo resta concreta: se l’infrastruttura che oggi filtra il “pericoloso” può domani escludere l’“indesiderabile”, chi definisce la soglia e con quali garanzie quando l’IA opera in ambiti sensibili come il nucleare o la ricerca biologica?