Un ricercatore di Anthropic mostra che l'AI può correggere se stessa

Anthropic presenta un paper firmato dal fellow Chen Yueh‑Han, “Automated Researchers Can Reliably Mitigate Alignment Failures”, che riporta miglioramenti su dieci benchmark di allineamento senza peggiorare le prestazioni generali del modello¹.

Il lavoro descrive una pipeline automatizzata che ricalca i passaggi tipici della ricerca: consultazione della letteratura, proposta di metodi, addestramento breve, verifica su benchmark, selezione dei tentativi efficaci. Ogni ciclo addestra il modello per 30 minuti, valuta i risultati e conserva solo i metodi che alzano il punteggio, scartando il resto. In questo modo gli autori puntano a iterare rapidamente e su ampia scala¹.

I test coprono dieci benchmark che misurano comportamenti specifici non allineati. Su ciascuno, i sistemi automatizzati hanno incrementato le prestazioni. Gli autori segnalano anche l’assenza di regressi nelle metriche generali del modello, un punto critico per questo tipo di interventi, perché spesso i miglioramenti su compiti mirati hanno un costo sul comportamento complessivo. In questo caso non lo osservano¹.

La procedura si articola in poche mosse. Una componente cerca nella letteratura disponibile e sintetizza strategie di intervento. Un’altra propone varianti metodologiche da testare. Segue l’addestramento di 30 minuti, pensato per fornire un segnale rapido. Infine, una verifica su benchmark guida la selezione, premiando i metodi che producono guadagni e bloccando quelli che non incidono o che peggiorano il risultato. L’iterazione ripete il ciclo e accumula i passi utili¹.

Gli autori definiscono questi risultati “prove iniziali” della praticabilità, nel breve termine, di un post‑training di allineamento automatizzato. La frase chiave del paper suona così: “Nel complesso, questi risultati forniscono prove iniziali che il post‑training di allineamento automatizzato potrebbe diventare praticabile nel breve termine”¹. Il messaggio è prudente: il metodo mostra segnali promettenti su una batteria definita di test e in condizioni controllate.

Il contributo principale non sta in un singolo trucco tecnico, ma in una catena operativa che si lascia replicare: ricerca di idee esistenti, generazione strutturata di proposte, cicli di addestramento limitati nel tempo, misurazione standardizzata, filtro severo dei metodi. La combinazione di miglioramenti su tutti i benchmark considerati e di assenza di degrado sulle metriche complessive regge la tesi centrale del lavoro¹.

Resta una tappa iniziale. Il paper mostra come orchestrare sistemi di AI per intervenire su comportamenti specifici e misurabili, con tempi di addestramento stretti e feedback iterativo. Per i laboratori che esplorano l’allenamento di modelli tramite altri modelli, offre un copione minimo: partire dalla letteratura, proporre varianti, mettere in prova per 30 minuti, misurare e selezionare. Una scelta progettuale implicita è affidarsi a benchmark chiari: definiscono il bersaglio, riducono l’ambiguità, e rendono tracciabile ogni avanzamento¹.