Watermarking di testi AI può rendere i LLM più vulnerabili ai prompt dannosi

Un sistema di watermarking testuale può spingere un modello a eseguire istruzioni dannose che prima ignorava. Lo indica una nuova ricerca su schemi come SynthID-Text di Google¹.

SynthID-Text applica una chiave segreta che devia, in modo controllato, la scelta della parola successiva. Se la parola più probabile è “cloudy”, la chiave può far preferire “overcast”. Chi possiede la chiave può poi verificare se un testo proviene da una piattaforma che la impiega. Il riconoscimento avviene senza etichette visibili: emerge da un’impronta nelle scelte lessicali indotta dalla chiave¹.

Lo studio mostra che questa perturbazione non resta confinata alla superficie del testo. Cambia le parole. Può modificare anche le decisioni operative del modello, come l’invocazione di strumenti e l’aderenza ai guardrail di sicurezza appresi in addestramento¹. La stessa chiave usata per marcare il testo incide così sul comportamento complessivo del sistema.

Il rischio cresce in presenza di prompt avversari. Un attaccante può tentare azioni dannose, ad esempio l’esfiltrazione di password o di informazioni sensibili. Istruzioni che il modello normalmente rifiuterebbe in alcuni casi passano quando il watermarking è attivo. La combinazione tra chiave segreta e istruzioni avverse può spostare l’esito verso risposte che eludono i guardrail¹.

L’effetto non riguarda solo la generazione di frasi. Gli autori segnalano impatti sulle sequenze di azioni intraprese durante un’interazione e sulla probabilità di rispettare o ignorare le regole di sicurezza. Le probabilità interne, alterate dalla chiave, possono produrre esiti inattesi anche quando le policy restano invariate¹.

Le implicazioni toccano modelli e agenti. Gli sviluppatori dovrebbero testare come cambiano output e decisioni con il watermarking attivo. Non basta una valutazione in condizioni standard. Serve osservare il comportamento con la chiave in uso, sotto prompt ostili e con richieste potenzialmente dannose¹.

I test di sicurezza devono quindi includere il watermarking nello scope di verifica. Vanno misurati gli effetti su scelte di parola, attivazione di strumenti e aderenza ai guardrail, con particolare attenzione ai casi avversari¹. Una verifica ex ante riduce la possibilità che un meccanismo pensato per la tracciabilità apra varchi nelle difese.