Ricercatori propongono il 'Genie coefficient' per valutare le IA

Su IEEE Spectrum, un gruppo di autori propone il “Genie coefficient”: una metrica per valutare se un’IA fa ciò che intendi, oltre a ciò che chiedi esplicitamente¹.

Il punto di partenza è un vuoto nei benchmark. I test più usati misurano capacità e accuratezza. Trascurano l’aderenza all’intento implicito dell’utente. Manca una misura della distanza tra la richiesta testuale e le assunzioni non dette su come eseguirla¹.

L’esempio è quotidiano. Chiedi a un amico un caffè. Capisce il contesto. Versa dalla caffettiera o va al bar. Evita soluzioni assurde: un sacchetto di chicchi crudi o una tazza strappata a uno sconosciuto. Nessuno elenca queste esclusioni. La conoscenza condivisa colma i vuoti¹.

Le macchine faticano su questo terreno. Un modello può superare un compito formale e produrre comunque un esito che ignora il buon senso. Il “Genie coefficient” mira a misurare proprio questa discrepanza tra istruzione letterale e intento dell’utente¹.

La tentazione è scrivere prompt sempre più precisi. Gli autori ricordano perché non basta. Nel 1987, Terry Winograd e Fernando Flores offrirono un dialogo esemplare: “D: C’è dell’acqua nel frigorifero? R: Sì. D: Dove? Non la vedo. R: Nelle cellule della melanzana.” La risposta è corretta. Fallisce l’intento pragmatico dell’interlocutore¹. Nel linguaggio naturale i desideri restano sottospecificati. È impraticabile elencare tutte le eccezioni, i limiti, gli avvertimenti¹.

Nella comunicazione umana interviene il senso comune. Una “persona ragionevole” integra ciò che manca e filtra soluzioni improprie. Per l’IA, secondo gli autori, il nodo sta qui: produrre output coerenti con quelle assunzioni che le persone danno per scontate, non solo con il testo del comando¹.

Il “Genie coefficient” si colloca in questo spazio. Non valuta la pura capacità di generare un output. Valuta la coerenza con l’intento implicito che guida le scelte sensate. La proposta invita a stimare la distanza tra ciò che chiedi e ciò che in realtà vuoi ottenere, incluse le condizioni taciute che un umano tipicamente rispetta. I benchmark attuali coprono la prima parte. Lascia scoperta la seconda¹.

Gli autori evitano l’idea di moltiplicare caveat e istruzioni. Rivendicano un approccio dedicato a ciò che i test esistenti non catturano: l’aderenza all’intento implicito. Qui si gioca la differenza tra risposte tecnicamente corrette e risposte utili nel mondo reale¹.

Se una metrica del genere entrasse nei protocolli di valutazione, la comunità sposterebbe l’attenzione dall’output “valido” all’output “sensato”. Cambierebbe anche la progettazione delle prove: servirebbero scenari con lacune intenzionali, costruiti per testare l’uso di conoscenza condivisa e assunzioni ragionevoli, esattamente dove oggi manca una misura condivisa¹.