Nato smevals, una suite leggera per valutare e confrontare modelli
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
smevals permette di definire eval come directory YAML, eseguirli su più modelli, separarne il grading e pubblicare report locali o statici.
Simon Willison pubblica smevals il 31 luglio 2026: una suite minima per valutare modelli, prompt e harness, con comandi per confrontare i risultati e generare report.1
Il progetto nasce dal lavoro con Prime Radiant, il laboratorio di ricerca applicata di Jesse Vincent. Obiettivo dichiarato: rispondere a domande concrete sulle capacità di modelli diversi.1
La “versione da 10 secondi” guida l’avvio: si fa leggere la documentazione a un coding agent con “uvx smevals docs”. Si chiede all’agente di costruire una eval suite. Si esegue la suite contro modelli specificati. Si separa la valutazione con un comando dedicato. Si consulta il risultato in locale o si esporta un report HTML statico.1
Una eval in smevals è una directory con file YAML. Quell’artefatto definisce cosa testare e come controllare gli esiti.1
Esecuzione e grading restano separati. Prima si lancia il run della suite contro le configurazioni di modello desiderate. Poi si applica il grading con i check definiti nella eval. Questa separazione consente di rieseguire la valutazione senza ripetere i run.1
Lo strumento supporta run su più modelli nello stesso comando, con più flag “-m”. Per esplorare i risultati in locale si avvia un server con “uvx smevals serve …”. In alternativa si costruisce un report statico con il comando “build”, pubblicabile ovunque come HTML.1
Il post descrive i comandi principali: lettura rapida della documentazione (“uvx smevals docs”), creazione della suite, esecuzione (“run”), valutazione (“grade”), consultazione in locale (“serve”) e produzione del report statico (“build”). La struttura a directory e YAML rende i test portabili e versionabili.1
Willison colloca smevals nell’uso quotidiano con Prime Radiant. L’attenzione va a suite piccole, mirate, utili a rispondere a domande specifiche su modelli, prompt e harness, non solo a compararli in astratto. La possibilità di generare report statici facilita la condivisione dei risultati senza mantenere un server attivo.1
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.