ProvenanceGuard verifica le fonti degli agenti LLM per evitare attribuzioni sbagliate

Un nuovo paper, “ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents”, punta a un errore preciso: l’attribuzione di un fatto alla fonte sbagliata, anche quando il fatto è vero altrove. Gli autori lo chiamano cross-source conflation e propongono un verificatore “consapevole della fonte” per evitarlo¹.

Il problema nasce quando si mescolano le evidenze. Un verificatore “cieco alla fonte” controlla se il fatto compare da qualche parte nel pool. Se sì, lo convalida. Ma “supported somewhere” non equivale a “supported by the right source”. Un verificatore “consapevole della fonte” deve bocciare un’affermazione vera ma collegata al documento sbagliato¹.

L’esempio pratico è netto. Un agente di supporto clienti scrive: “Secondo il registro account, questo piano include una finestra di rimborso di 30 giorni.” La finestra può esistere, ma nel documento di policy, non nel registro account citato. Se si mettono assieme policy e registro, l’affermazione appare corretta. Tenendoli separati, l’attribuzione risulta errata. In contesti sensibili, un’attribuzione sbagliata può pesare quanto un fatto falso¹.

Lo stesso schema emerge in ambito clinico. Un dettaglio di terapia, specifico per il paziente e preso da uno strumento di storia clinica, può diventare fuorviante se appare come se provenisse da un’altra fonte. Anche qui la distinzione tra esistenza del fatto e sua provenienza è cruciale¹.

ProvenanceGuard affronta il punto scoperto degli agenti LLM basati su MCP: la verifica della veridicità non basta se ignora la provenienza. L’obiettivo è collegare ogni affermazione alla fonte giusta e respingere quanto è “vero da qualche parte” ma non dove l’agente dice di averlo trovato. In altre parole, la verifica deve essere sensibile al documento, non solo al contenuto¹.

Il principio operativo è semplice da enunciare. Un claim che cita una fonte va valutato contro quella fonte. Se il supporto arriva da altrove, il sistema lo segnala come attribuzione errata. Il paper prende di mira proprio questa deriva, che si manifesta quando si considera un pool unico di evidenze e si allenta il legame tra testo e origine¹.

Gli autori pubblicano il lavoro su Hugging Face e indicano anche una versione su arXiv. Il post che annuncia il paper sintetizza il problema e chiarisce il caso d’uso degli agenti MCP, dove il rischio di confondere le fonti cresce se non si impone un controllo esplicito dell’attribuzione¹.

Per chi costruisce agenti che citano documenti o strumenti, il messaggio è operativo: la verifica deve distinguere le fonti e negare validità a risposte che spostano l’attribuzione, anche quando il contenuto compare altrove nel materiale disponibile. La qualità non riguarda solo se il fatto è vero, ma se è vero dove l’agente dice di averlo trovato¹.