Rischi moltiplicati dall'IA: operazioni, cybersicurezza e wet lab

Questa primavera aerei militari statunitensi erano già in volo quando un controllo in extremis ha fermato un’operazione contro una nave cinese: l’intelligence nasceva da un’allucinazione di un chatbot. Tesi: casi diversi come questo, l’uso di un modello per creare un exploit e l’apertura di un wet lab guidato da modelli mostrano rischi distinti. Servono controlli tecnici e organizzativi differenziati, verificabili da terzi. Non un interruttore unico.

1) Tesi e quadro comune

Tre fatti pubblici indicano tre superfici di rischio: decisione operativa, sicurezza del software, attività sperimentali fisiche. Un unico strumento non le copre tutte. La progettazione dei controlli va per contesto, con verifiche indipendenti dove possibile. La California ha chiesto raccomandazioni proprio su questo punto, incluso un possibile “kill switch” e audit esterni.

2) Rischio operativo: un chatbot quasi scatenò un attacco

Secondo la ricostruzione riportata da CNN e ripresa da TechCrunch, un analista dello Special Operations Command ha chiesto a un chatbot di “sintetizzare” dati open-source con segnali classificati. Il sistema ha sbagliato a interpretare il manifesto del carico di una nave cinese. Lo stesso analista ha usato lo strumento per impaginare quelle conclusioni in un sommario dall’aspetto ufficiale. Il documento ha circolato. Con i velivoli già in aria, i funzionari hanno individuato l’errore e hanno fermato l’operazione.

Qui la confezione ha amplificato la credibilità. Un sommario “pulito” ha superato i controlli iniziali e ha scalato i canali decisionali. Il rischio non è solo l’allucinazione. È l’integrazione del modello in una catena operativa, con prodotti che imitano formati interni e indeboliscono le difese procedurali. La lezione è concreta: quando l’output di un modello entra in processi ad alta conseguenzialità, servono punti di verifica forti e tracciabili prima dell’azione.

3) Rischio cybersicurezza: modelli che aiutano a creare exploit

Tre ricercatori di Hacktron sostengono che, nelle 72 ore successive al rilascio di Claude Opus 5 del 24 luglio, il modello li abbia aiutati a generare e ottimizzare un exploit in formato HEIF. Con quel file, dicono di aver ottenuto esecuzione di codice da remoto su Discourse Cloud e di essere poi arrivati all’istanza collegata ai forum della community di OpenAI. Riferiscono movimento laterale fino ad account di dipendenti e al repository GitHub “Monorepo” e dichiarano di essersi fermati prima di leggere il codice interno. Per provare l’accesso, dicono di aver inviato una pull request dall’account “Codex” di un dipendente.

Nel loro resoconto la catena parte da un’immagine HEIF manipolata. Colpisce un bug nel sistema che elabora le immagini su Discourse. Apre una RCE su Discourse Cloud. Da quel punto i ricercatori descrivono l’accesso all’istanza usata da OpenAI.

Questo caso mette a fuoco un’altra dinamica. I modelli possono accelerare fasi complesse: generazione e ottimizzazione di payload, iterazione rapida, confezione di artefatti credibili. La soglia tecnica si abbassa. La resilienza, qui, dipende dall’igiene delle supply chain software, dai percorsi di caricamento contenuti e dalla durezza delle superfici d’attacco note, come i pipeline di elaborazione immagini. Un “interruttore” generale del modello non risolve i bug in servizi terzi né i canali di movimento laterale. Servono pratiche di hardening, revisione del parsing dei formati e test continui.

4) Rischio biologico e fisico: wet lab guidato da modelli

Anthropic ha confermato di gestire un laboratorio di biologia sperimentale dove usa i suoi modelli di intelligenza artificiale per eseguire esperimenti fisici. “Per fare biologia, il test finale resta, e resterà per un po’, il lavoro in laboratorio reale. Lo stiamo facendo oggi,” ha detto Eric Kauderer-Abrams, responsabile life sciences. Il laboratorio funziona come molti laboratori biotech: parte della ricerca avviene lì e l’azienda collabora con partner esterni. Anthropic ha precisato che il laboratorio non è focalizzato sulla scoperta di farmaci. Ha annunciato un accordo con Novo Nordisk su attività congiunte di drug discovery. Ad aprile ha comprato Coefficient Bio, una biotech “stealth” orientata all’IA, senza collegare pubblicamente l’acquisto ai progetti del laboratorio né divulgare dettagli operativi su cosa stia testando oggi.

Qui il rischio esce dallo schermo. I modelli non si limitano a testi o codice. Orchestrano attività sperimentali in un wet lab. La verifica si fa su banco. Le misure di contenimento e la qualità dei protocolli diventano parte integrante della sicurezza del modello. La trasparenza sui processi e le collaborazioni pesa perché tocca catene di responsabilità tra sviluppatore IA, partner e laboratorio.

5) Implicazioni per regolazione e controlli pratici

Il governatore Gavin Newsom ha firmato un ordine esecutivo che, entro 60 giorni, chiede raccomandazioni per valutare un “kill switch” per i modelli di frontiera, come inserirlo in legge e come verificarne l’efficacia. Il testo chiede anche audit indipendenti e standard di trasparenza più rigidi. Lo Stato deve convocare un gruppo di esperti con un mandato operativo: proporre misure di sicurezza da tradurre in norme, incluse procedure d’emergenza e controlli indipendenti sui processi interni delle aziende. Tra le opzioni c’è un interruttore di emergenza da testare con regolarità. L’ipotesi include gruppi di verifica indipendenti in sede, audit regolari e report di trasparenza e valutazioni del rischio che seguano standard fissati da auditor esterni, con validazione terza di pratiche e metriche.

I tre casi indicano una direzione metodologica. I controlli vanno progettati sul percorso di rischio specifico:

• Decisione operativa: blocchi procedurali e revisioni umane qualificate su prodotti che imitano formati interni, con tracciabilità delle fonti e dei passaggi che portano all’azione.
• Cybersicurezza: hardening dei servizi esposti, validazione robusta dei formati, separazione dei domini, e test continui delle catene di elaborazione e dei percorsi di escalation descritti dai ricercatori.
• Wet lab: requisiti di sicurezza sperimentale e governance delle collaborazioni, con verifiche su come i modelli interagiscono con protocolli e attrezzature di laboratorio.

Un “kill switch” può servire come ultima rete. Ma senza audit indipendenti, test regolari e standard di trasparenza, resta una promessa non verificata. Il punto centrale dell’ordine della California è la verificabilità: misure che si possono provare, ripetere, certificare da terzi, su domini diversi.

La chiave pratica è l’integrazione: tecniche di arresto d’emergenza dove hanno senso, processi di verifica umana dove l’IA produce documenti che accelerano decisioni, e audit esterni che misurano ciò che le aziende dichiarano di fare. La mappa dei rischi non è unica. Gli strumenti di controllo nemmeno. La prossima prova sarà mostrare, con test osservabili, che queste misure reggono quando un modello entra nella sala operazioni, in una pipeline di upload, o in una cappa da laboratorio.