Munim trova duplicati con etichette conflittuali in benchmark NLI

Munim ha pubblicato dieci censimenti riproducibili in due settimane. Obiettivo: verificare se i benchmark di natural language inference e le prove di QA a scelta multipla contengono esempi duplicati con etichette in conflitto e sovrapposizioni tra dataset spesso uniti in addestramento, come SNLI e MultiNLI¹.

Il criterio di identità è operativo e stretto: per l’NLI conta la coppia premessa, ipotesi; per la scelta multipla conta la coppia testo della domanda, insieme di opzioni. L’etichetta d’oro è la risposta assegnata. A parità di testo, due etichette diverse generano un conflitto. Se lo stesso esempio compare in più corpus poi fusi per l’addestramento, la separazione tra training e valutazione si offusca¹.

I censimenti seguono un workflow unico, dichiarato e chiuso. Prima costruiscono a mano un fixture sintetico con i casi attesi, poi congelano i conteggi previsti. Infine eseguono l’analisi in un contenitore sigillato sui dati ufficiali. Questo ancora i risultati a controlli ex ante e all’uso di release pubbliche, così chiunque può replicare le verifiche¹.

Il perimetro è limitato e pragmatico: censire, in modo riproducibile, conflitti di etichetta e sovrapposizioni tra dataset nelle prove più usate di NLI e di QA a scelta multipla. La domanda chiave sul versante NLI resta concreta: SNLI e MultiNLI condividono esempi, e con quale impatto quando si uniscono i due dataset per addestrare modelli¹?

Il ragionamento è lineare. Un benchmark serve a misurare modelli, non incoerenze del ground truth. Se la stessa domanda compare due volte con due risposte “corrette”, nessun sistema può soddisfarle entrambe. La classifica, in quel caso, misura rumore. Se esistono duplicati tra corpus usati insieme, il rischio è valutare su materiale visto in addestramento, anche senza fuga esplicita di test set¹.

Il team specifica il regime di licenza: codice sotto Apache-2.0, risultati e rapporto sotto CC BY 4.0. La combinazione consente riuso con attribuzione e facilita la replica indipendente dei censimenti e dei conteggi pubblicati¹.

Gli autori presentano i risultati secondo la definizione di identità dell’esempio e le due classi di errore sopra descritte. Hanno fissato i conteggi attesi prima dell’esecuzione, poi hanno fatto girare l’analisi in un contenitore sigillato sui dati ufficiali. I report mettono in relazione conflitti e sovrapposizioni con l’uso reale dei dataset in addestramento e valutazione¹.

Per chi addestra su fusioni di corpus, l’impatto è immediato. Prima di unire SNLI e MultiNLI o combinare insiemi di QA a scelta multipla, conviene verificare duplicati e conflitti, o documentare i filtraggi. I censimenti e il codice pubblicati offrono una base riproducibile per questi controlli, così da leggere punteggi e leaderboard con il giusto contesto¹.