Audit su LLM trova che i benchmark distorcono i risultati per codice quantistico

Sul benchmark QBE basta disattivare un controllo e il punteggio esplode: GPT‑6 Astra passa da 0% a 94,1% (T1) e da 1,2% a 92,9% (T6), senza cambiare l’output del modello¹.

Lo mostra uno studio caricato su arXiv il 19 ottobre 2026, che mette sotto audit la valutazione della generazione di codice quantistico da parte di LLM (versione su arXiv)¹. Gli autori testano 15 modelli su cinque suite per 530 task, poi 10 modelli su QuantumBenchEval, un nuovo set da 96 task in sei argomenti¹. La metrica pass@1 viene accompagnata da intervalli di confidenza bootstrap, confronti appaiati con correzione per multipli e verifiche mirate della correttezza dell’output e del comportamento degli evaluator¹.

Il caso QBE chiarisce il punto. Gli evaluator possono marcare come errate soluzioni che non dichiarano esplicitamente una “quantità non specificata” richiesta dal task. Disattivare quel controllo nel codice dell’evaluatore, lasciando invariati gli output generati, cambia in modo netto il pass@1. Per GPT‑6 Astra l’aumento arriva da 0% a 94,1% nel topic T1 e da 1,2% a 92,9% nel topic T6¹.

I benchmark più usati mostrano andamenti diversi. QiskitHumanEval‑Standard si avvicina alla saturazione con pass@1 al 98,7%. La variante Hard si ferma al 63,8%¹.

Anche le classifiche tra modelli si muovono quando si applicano controlli statistici più severi. Nessuna delle cinque comparazioni tra i primi due modelli sui set principali resta significativa dopo la correzione per confronti multipli¹.

Secondo gli autori, le differenze tra benchmark pesano. Cambiano la composizione dei task, il calcolo del punteggio, la gestione dei fallimenti. Questo rende fragile il confronto tra modelli e amplifica l’effetto delle regole implementate negli evaluator, come mostrano i test su QBE con e senza i controlli per “quantità non specificate”¹.

Il disegno sperimentale è parte del risultato, ma non va ripetuto come un rituale. Gli autori dichiarano gli intervalli di incertezza, usano confronti appaiati con aggiustamento per multipli e controllano la validità degli output e delle regole applicate dagli evaluator. Il messaggio resta: la scelta e la configurazione dell’evaluatore possono spostare i punteggi in modo sostanziale, anche a output costante¹.

C’è un’implicazione operativa e un limite pratico. Chi usa questi benchmark per confrontare LLM o per decisioni di prodotto dovrebbe ispezionare gli evaluator, riportare le incertezze e applicare correzioni per multipli. Altrimenti rischia di scambiare per progresso ciò che è un effetto del valutatore¹. Il perimetro dello studio resta quello dichiarato: risultati riferiti ai set e alle metriche analizzati, in particolare pass@1 e le regole implementate negli evaluator. L’estensione ad altri compiti o metriche richiede verifiche della stessa natura, idealmente riportate nella versione su arXiv¹.