Quattro strumenti open source per i negozi online, e il primo corregge i test di ricerca
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Naser Sadrmanesh ha pubblicato quattro piccoli progetti MIT per problemi reali dell'e-commerce; llm-search-eval crea una pool unica di etichette e integra giudizi LLM solo dove mancano dati umani.
Lanci 50 query, vedi +2% di nDCG, e decidi di rilasciare. Quel numero può essere solo rumore. E le etichette “gold”, scritte per il sistema vecchio, falsano il confronto: un nuovo retriever porta in alto prodotti senza etichette e li fa sembrare errori. Un unico giudice LLM è solo un’opinione. Da qui nasce llm-search-eval: risponde alla domanda se la nuova ricerca sia davvero migliore, e lo fa cambiando come costruiamo il test1.
Naser Sadrmanesh, AI product engineer e founder, ha pubblicato quattro progetti open source, piccoli e con licenza MIT. Dice che ogni progetto esiste perché un caso reale lo ha richiesto. Nel post spiega cosa fa ciascuno strumento e le scelte di design dietro a ogni decisione1.
llm-search-eval costruisce un pool di etichette a ogni esecuzione. Parte dai giudizi umani esistenti. Usa un LLM solo per colmare i buchi, quindi valuta tutti i sistemi sulla stessa base. Non riusa set di etichette scritti per un’architettura diversa. Evita che nuovi risultati, non ancora etichettati, pesino come errori e degradino il punteggio del modello nuovo1.
Il controllo offline “50 query e nDCG” ha tre fratture note. Etichette che invecchiano, delta piccoli che rientrano nel caso, giudizi automatizzati non verificati. llm-search-eval attacca ognuna di queste fratture con una pipeline unica per il round di test, un pool coerente di etichette e un pannello di giudici, non un singolo modello1.
Il progetto espone anche le metriche di accordo tra valutatori. Sadrmanesh cita Cohen’s kappa, Fleiss’ kappa e “Krippendo”. Le usi per stimare se i giudizi generati reggono il confronto con più persone. Il punto non è sostituire gli umani, ma misurare quanto un ausilio LLM si allinei a un panel, nel contesto specifico di quella run1.
La promessa è pragmatica: meno fiducia cieca in archivi di etichette stanchi, più controllo sulla qualità del campione e su chi emette i giudizi. llm-search-eval nasce da progetti reali e si concentra su un problema ricorrente degli store online: capire se cambiare retriever, riscrivere query o aggiungere sinonimi migliori davvero la ricerca, non solo la metrica su un foglio1.
Gli altri tre strumenti seguono lo stesso principio di economia: open source, piccoli, licenza MIT, sviluppati perché servivano sul campo. Il post li presenta insieme a llm-search-eval e ne illustra le scelte progettuali, senza ricette universali, ma con dettagli nati da necessità concrete1.
La chiave operativa resta semplice: costruisci il pool al momento, integra solo dove mancano dati umani, controlla l’accordo tra i giudici. Così un +2% su 50 query smette di guidare un rilascio. E un retriever nuovo non paga il conto di etichette vecchie1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Rilettura. Un passaggio toglie i tic della prosa generata da un modello, come i contrasti costruiti e le frasi che annunciano invece di informare, senza toccare fatti e fonti.
- Fedeltà alle fonti. Un passaggio dedicato toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 9/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 8,0/10 dopo 1 revisione.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.