Agente AI ok il giorno della consegna, può smettere di funzionare se nessuno lo mantiene
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Per tenere in vita un agente servono runbook, eval set del cliente, versioni bloccate con rollback, un destinatario degli alert e un decision log leggibile.
Un agente AI funziona il giorno della consegna. Dopo sei mesi può non farlo più. Dipende da chi ne risponde e da cosa ha in mano. L’handover è parte del progetto, non un incontro finale1.
Gli agenti si guastano anche senza modifiche. Il provider del modello può togliere una versione. L’alias su cui ci si affidava può puntare a qualcos’altro. Un’API a monte può rinominare o rimuovere un campo. I documenti che l’agente legge si allontanano da quelli su cui è stato testato: nuovi modelli, nuove sigle degli articoli, un modo diverso di scrivere la stessa cosa. Nulla di questo si vede in code review, perché il codice non è cambiato. Si vede come errore davanti al cliente. Di solito lo nota per primo chi non sa spiegare perché sia successo1.
Cosa deve uscire insieme al sistema. Primo, un runbook. Deve dire cosa l’agente può fare, cosa non deve mai fare, in quali sistemi può scrivere, e cosa fare quando si comporta in modo strano. Va scritto per la persona di turno, non per chi ha costruito l’agente1.
Secondo, un evaluation set di proprietà del cliente. Le domande e le risposte attese non devono stare solo sul laptop di chi consegna. Devono stare dove il cliente le può usare e custodire1.
Terzo, versioni bloccate con possibilità di rollback. Bisogna fissare a cosa punta l’agente e poter tornare indietro se serve. La possibilità di rollback deve esistere insieme al blocco delle versioni1.
Quarto, un destinatario nominato per gli alert. Gli avvisi devono arrivare a una persona indicata, che sappia di esserlo. Avere un destinatario definito è parte della consegna1.
Quinto, un decision log leggibile. Serve a capire le scelte fatte e a orientarsi quando si guarda al sistema dopo la consegna. Deve essere comprensibile da chi prende in carico l’agente e da chi fa la guardia1.
Questi elementi non sono accessori. Decidono se l’agente resta allineato quando cambiano i modelli, le API o i documenti che consulta. Senza, il primo segnale è l’errore in faccia all’utente, non un allarme indirizzato a qualcuno che può intervenire. Con essi, chi è responsabile ha gli strumenti in mano per capire cosa è cambiato attorno all’agente e per agire in modo ordinato1.
L’indicazione è netta: l’handover non si riduce a una riunione a fine progetto. È una parte del lavoro, con consegne materiali. Runbook, evaluation set del cliente, versioni bloccate con rollback, destinatario degli alert, decision log leggibile. Senza questi pezzi, la manutenzione resta implicita e dipende da chi ha costruito l’agente. Con questi pezzi, la responsabilità è chiara e l’operatività non si spezza alla prima variazione esterna1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 10/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 8,2/10.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.