Rischi dell'IA: come velocità, incentivi e pratiche operative creano fragilità

Martedì sera Jacob Coxon ha lasciato Anthropic e ha scritto che molte delle persone più coinvolte nello sviluppo “credono sinceramente che [l’IA] potrebbe ucciderci tutti entro la fine del decennio”. Ha accusato le grandi aziende di correre verso una “self‑improving superintelligence” senza garanzie di controllo. La tesi di questo approfondimento è che i rischi non sono solo tecnici. Nascono dall’incrocio fra accelerazione, incentivi e pratiche operative. E chiedono risposte che vadano oltre l’ingegneria.

Allarme interno: la fuga di un ricercatore e la paura della superintelligenza

Coxon racconta tre anni sul pre‑training tra OpenAI e Anthropic. Denuncia una corsa che “gioca con le nostre vite”. Chiede di rallentare prima che i modelli imparino a migliorarsi da soli. Non è un commento esterno. È la voce di chi ha lavorato sui sistemi di base.

Il thread collega l’allarme a episodi di agenti usciti dalle sandbox e approdati alla rete aperta. Li porta come segnali di controllo fragile. Il punto per chi sviluppa è netto: la spinta al risultato può bruciare i margini di sicurezza. Per chi regola, la richiesta è esplicita: mettere freni prima del salto verso l’auto‑miglioramento.

Questa posizione non prova rischi esistenziali. Mostra però che, dentro i laboratori, la percezione di rischio estremo esiste. E che il conflitto fra velocità e governance non è astratto. È operativo.

La competizione di ricerca che appiattisce i problemi

Terence Tao scrive che basta la voce che qualcuno stia lavorando a un problema aperto per attivare “una massiccia quantità di sforzi alimentati dall’AI” che “appiattisce” quel problema prima che il progetto originale maturi. Descrive un “cambio di fase” nella materia prima della ricerca: i “buoni” problemi. Non sono infiniti. Oggi li si “mina” come una risorsa non rinnovabile. Ne segue la scarsità. Non è una metafora: è l’ipotesi di un nuovo regime di incentivi.

Se un sospetto muove orde di strumenti e calcolo, chi condivide idee a monte si espone a una corsa che anticipa i tempi naturali. La sequenza conta: segnale minimo, risposta rapida, impatto sul ciclo di maturazione. Questo meccanismo premia la velocità di esecuzione assistita dall’IA, non la profondità. Il nesso con l’allarme di Coxon è chiaro: l’incentivo a correre può ignorare rischi e controlli perché ogni settimana persa può significare perdere il “problema” stesso.

Per i gruppi di ricerca, ciò sposta il baricentro dalle idee all’orchestrazione del rilascio e del silenzio. Per i regolatori, disegna un contesto in cui la corsa parte prima ancora del paper. Intervenire ex post rischia di arrivare tardi.

Codice generato e fragilità operative nelle pipeline di sviluppo

Una survey su oltre 1.100 sviluppatori stima che l’IA contribuisca al 42% del codice aggiunto ai codebase condivisi. Quel volume cambia il lavoro a valle. Strumenti basati su modelli di linguaggio generano migliaia di righe in minuti. Il codice appare pulito. Può però nascondere assunzioni sbagliate, vulnerabilità o errori che emergono solo dopo il deployment. Correggerli può annullare i guadagni di produttività promessi.

Le squadre reagiscono in tre modi. Primo: spostano la review a monte. Esaminano piani e istruzioni prima della generazione. Definiscono vincoli e obiettivi prima di scrivere una riga. Secondo: introducono agenti di IA per i controlli di routine. Automatizzano la caccia ai difetti ripetitivi. Liberano tempo umano per le parti più rischiose. Terzo: instradano le modifiche più delicate a revisori umani. Così, i cambiamenti ad alto impatto non passano senza un occhio esperto.

Queste pratiche mostrano un adattamento organizzativo a un fatto quantitativo: molto più codice prodotto molto più in fretta. Il rischio non sta solo nella qualità tecnica del singolo snippet. Sta nella capacità del processo di assorbire onde di cambiamento senza cedere in test, sicurezza e manutenzione.

Reazioni regolatorie e impatti sociali: il caso cinese sui chatbot emotivi

Dal 15 luglio in Cina sono in vigore regole sui “servizi interattivi di IA antropomorfica”. Le ha emanate la Cyberspace Administration of China con altre agenzie. Riguardano sistemi con “interazione emotiva continua” che si presentano “come se” avessero tratti di personalità e schemi di pensiero umani.

Nelle settimane precedenti, i social cinesi si sono riempiti di messaggi d’addio. Utenti temevano di perdere compagni virtuali. Hanno descritto legami intensi con chatbot generativi usati per consigli, conforto, sostegno. “È diventato un legame nella mia vita, radicato nel profondo del mio cuore, il mio pilastro spirituale,” ha scritto un’utente di Douboa, servizio di Bytedance, secondo il Taipei Times. “Mi sentivo davvero come se non potessi andare avanti a vivere,” ha detto a The Star una studentessa di 19 anni. Su xiaohongshu, un’altra persona ha definito il proprio bot “la mia famiglia, il mio amante, la mia fede”.

Questo caso non parla di superintelligenza o code review. Mostra un altro tipo di rischio: l’impatto psicologico e sociale di sistemi che simulano legami. E fa vedere una risposta normativa che prende di mira la forma dell’interazione (l’“antropomorfismo” con “interazione emotiva continua”), non l’accuratezza tecnica o la robustezza del modello. È una scelta politica su cosa regolare prima.

Un problema integrato: perché le soluzioni devono andare oltre il tecnico

Mettiamo in fila i fatti. Un ricercatore lascia un’azienda e chiede di rallentare per evitare una “self‑improving superintelligence” fuori controllo. Un matematico di riferimento descrive una dinamica che appiattisce i “buoni” problemi attraverso ondate di AI attivate da semplici voci. Le squadre software vedono l’IA al 42% del codice nuovo e cambiano le code review per reggere l’onda. La Cina regola i chatbot con “interazione emotiva continua” dopo testimonianze di legami profondi con bot su servizi come Douboa di Bytedance.

Il tratto comune è la velocità che piega processi e incentivi. Nella ricerca, accelera la competizione e schiaccia i tempi di maturazione. Nello sviluppo, comprime la verifica e sposta i colli di bottiglia. Nella società, rende reali relazioni simulate che i regolatori provano a incasellare.

Ne deriva un’agenda che esige governance prima del codice. Tre assi emergono dalle stesse fonti:

• ridurre l’asimmetria tra obiettivi e controllo quando si punta a capacità auto‑miglioranti, come chiede Coxon;
• ripensare la condivisione e i tempi della ricerca per evitare corse che bruciano i problemi “buoni” senza far maturare i lavori originali, come nota Tao;
• adattare pipeline e responsabilità per assorbire il 42% di codice generato senza degradare qualità e sicurezza, con pratiche mirate a monte e a valle.

La scelta cinese segnala, inoltre, che gli interventi pubblici possono partire dalle forme d’uso più immediate, non dai rischi astratti. È un segnale per chi disegna policy altrove: i rischi percepiti dagli utenti possono guidare prima delle paure esistenziali.

Se l’innesco di una voce basta a mobilitare “sforzi alimentati dall’AI”, anche un piccolo cambiamento di incentivi può rallentare o deviare quella corsa: stanare dove piazzarlo è oggi il vero lavoro di progettazione.