Studi 2025: persone non distinguono testi umani da LLM

Due studi del 2025 fissano l’asticella: i lettori riconoscono i testi AI al 57% e quelli umani al 64%. Il margine resta vicino al caso, con scarti modesti e alta incertezza sulla diagnosi “a orecchio”.

Martin Fowler parte da qui. Dice che la “voce LLM” lo respinge. Ma si chiede quanto valga quell’istinto, visto che i dati mostrano una capacità di riconoscimento solo leggermente sopra il lancio di una moneta. Non ne fa una crociata di stile. La usa come domanda pratica: posso fidarmi delle mie antenne quando leggo?

Fowler ricorda di aver visto molte “tic-phrases” nel tempo. Prima le attribuiva ai più giovani o ai manuali da aeroporto. Nota anche gli americanismi, a cui dice di abituarsi presto. Il punto è la deriva percettiva: quanto del fastidio nasce dall’etichetta rapida e quanto da un segnale reale?

Nel post cita uno strumento di Simon Willison: un “evidenziatore di cliché” per testi generati da modelli. Incolli un testo o un URL e il tool mette in evidenza pattern frequenti. Lo strumento rimanda a una pagina di Wikipedia che elenca segni tipici della scrittura AI e raccoglie i risultati degli studi menzionati. La cornice resta prudente: gli indizi stilistici aiutano, ma non bastano per una diagnosi affidabile.

Il dato centrale non cambia. La pagina sintetizza evidenze limitate e convergenti: distinguere in modo robusto tra prosa umana e generata resta difficile. Un lavoro riporta prestazioni che non superano il caso. Un altro, su tesi in tedesco, indica un 57% per i testi AI e un 64% per i testi umani. La forbice è stretta. L’errore è frequente. Il giudizio istintivo regge poco alla prova sperimentale.

Fowler innesta su questi numeri la sua esperienza di lettura. Non ne fa un argomento d’autorità. Mette in fila i tic che lo irritano e li confronta con i dati. Se le persone sbagliano spesso, anche un lettore esperto rischia falsi positivi e falsi negativi. Gli “indizi” possono guidare l’editing, non la classificazione certa. È una distinzione operativa, non accademica.

Il quadro che ne esce invita a due mosse. Primo: usare strumenti che segnalano cliché come piste di revisione, non come oracoli. Secondo: trattare l’origine del testo come ipotesi da verificare con altri elementi, soprattutto quando la distinzione ha conseguenze pratiche. La soglia del 57% contro 64% non autorizza verdetti sommari. Impone controlli, contesto e cautela nell’interpretare la “voce LLM” come prova dell’autore.