DiG-bench, 70 giochi per misurare se l'IA scopre regole da sola

Settanta giochi con regole e obiettivi nascosti: DiG-bench misura quanto un sistema di IA sappia inferire le regole non scritte esplorando l’ambiente, invece di riceverle in input¹.

Il benchmark pone una domanda precisa: fino a che punto un’IA sa capire le leggi del proprio contesto tramite esplorazione e curiosità, e non perché qualcuno gliele ha fornite? È una questione centrale per valutare capacità intuitive e creative dei sistemi, non solo la loro abilità di applicare istruzioni note¹.

Ogni gioco di DiG-bench è un mondo in miniatura con leggi proprie. Le regole non vengono dichiarate. Anche l’obiettivo resta implicito. Il giocatore — umano o artificiale — deve scoprirli interagendo con l’ambiente. La progressione passa dai tentativi all’osservazione degli effetti, fino alla formazione di ipotesi utili a risolvere il compito¹.

Il progetto è “un benchmark di 70 giochi” progettato per “mappare la superficie della scoperta in sistemi interattivi ben controllati”. Il formato standardizzato serve a osservare come emerge il comportamento di scoperta quando né regole né obiettivi sono espliciti. L’enfasi è sul processo di inferenza in situazioni chiuse e verificabili, non sulla disponibilità di conoscenze preconfezionate¹.

DiG-bench è descritto come simile al gioco visivo ARC. Come in ARC, anche qui le regole restano implicite e vanno dedotte. La differenza sta nell’interazione: in DiG-bench ogni passo è un’azione nel mondo, e l’unico modo per capire se si procede nella direzione giusta è osservare come il sistema risponde a quell’azione¹.

Import AI riporta un segnale sul tipo di capacità che il benchmark può far emergere: “DiG-bench mostra che Fable esibisce qualche intuizione creativa”. L’osservazione riguarda il comportamento durante la scoperta, non un repertorio appreso altrove. Il punto è capire se dal confronto con questi giochi emergono indizi di intuizione operativa, oltre la semplice esecuzione meccanica¹.

Una parte dei giochi è disponibile online, così i lettori possono provarli direttamente. È un passaggio utile per farsi un’idea concreta del formato: mondi auto-consistenti, obiettivi impliciti, feedback che arrivano solo dall’interazione. Il contatto diretto aiuta anche a distinguere tra tentativi alla cieca e deduzioni guidate dai segnali che l’ambiente fornisce durante il gioco¹.

L’insieme di questi elementi mette a fuoco una frontiera di valutazione: misurare in che modo e quanto rapidamente un sistema costruisce una comprensione utilizzabile delle regole non dichiarate del proprio contesto. In DiG-bench la scoperta non è opzionale: è il compito stesso. E proprio per questo diventa osservabile e comparabile, gioco dopo gioco, all’interno di ambienti definiti e ripetibili¹.