Google presenta Agile Deliberation per classificare concetti visivi soggettivi

Google Research pubblica Agile Deliberation, un framework human-in-the-loop per costruire classificatori di immagini su concetti soggettivi. Nei test, l’F1 medio cresce di 10,5 punti rispetto a Gemini 2.5 Flash in zero-shot, su due concetti e 18 sessioni dal vivo¹.

Il sistema guida l’utente nel trasformare un’idea vaga in una definizione scritta. Quella definizione diventa policy leggibile e prompt per un VLM. A ogni iterazione resta la versione con F1 più alta sulle etichette fornite dall’utente. Il design nasce da interviste a esperti di moderazione: prima si delimita il concetto, poi si lavora su immagini di confine, difficili da trovare con gli strumenti comuni¹.

Scoping del concetto, primo passo. Gemini 2.5 Pro scompone l’idea in massimo tre unità con prompt chaining. Per ciascuna propone sottoconcetti positivi e negativi, illustrati con immagini recuperate. L’utente può tenere, invertire o scartare. Su “healthy food”, tra i positivi compaiono insalate o bowl di cereali, tra i negativi cibi processati o ingredienti crudi non preparati¹.

Iterazione, secondo passo. Niente campionamento per incertezza: con un VLM promptato i punteggi di confidenza risultano spesso non calibrati. La ricerca punta invece su ambiguità di significato. Pipeline in quattro fasi: Gemini 2.5 Flash scrive query “di confine”, per esempio “insalate con condimenti pesanti a base di maionese”, e per ciascuna recupera 50-100 immagini. Le immagini vengono de-duplicate, codificate e raggruppate con dictionary learning. Un bandit UCB sceglie il cluster successivo, privilegiando dove l’utente ha corretto il modello o lasciato note ricche. Un VLM riassume ogni immagine in una frase. L’utente etichetta e annota i disaccordi. Un LLM trasforma le note in nuove definizioni candidate. Un aggiornamento greedy mantiene quella con F1 più alta¹.

Valutazione in sessioni live, non su benchmark statici. I concetti soggettivi non hanno ground truth fisso. Diciotto sessioni da circa 90 minuti con 9 partecipanti, due a testa: 45 minuti per definire il concetto, poi 200 immagini di test da etichettare. I due concetti in prova sono “paid to play” (clickbait) e “healthy food”. Il retrieval usa un dataset proprietario da 100 milioni di immagini per “paid to play” e WebLI per “healthy food”¹.

Risultati principali. Su “paid to play”, F1 passa da 0,48 in zero-shot a 0,59. La precisione sale di 22 punti, da 0,35 a 0,57. Il recall scende: 17 punti su “paid to play”, da 0,80 a 0,63, e 15 punti su “healthy food”. In media, su due concetti e 18 sessioni, l’F1 cresce di 10,5 punti. I partecipanti riportano sforzo e stress inferiori rispetto all’editing manuale dei prompt¹.

Code e demo. Il repository include un Demo.ipynb sul caso “healthy food”. Serve una chiave API di Gemini. La demo usa gemini-2.5-pro e gemini-2.5-flash via API, senza fine-tuning. Retrieval basato su embedding CLIP e indice FAISS, su CPU o GPU. Uno script costruisce l’indice a partire da embedding CLIP di LAION-400M. La versione demo a due shard occupa circa 260 MB, quella completa a 100 shard circa 13 GB¹.

Per gli sviluppatori, il messaggio è pratico: i confini dei concetti si scoprono su immagini ambigue, non sui punteggi di confidenza. La definizione testuale aggiornata a ogni ciclo diventa subito il prompt del classificatore, chiudendo il cerchio tra policy e modello operativo¹.