Test su 16 modelli: l'AI identifica i funghi correttamente solo nel 65% dei casi
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Un esperimento su 1.040 foto mostra che anche i modelli migliori non sono affidabili per decidere se un fungo è commestibile o velenoso.
Su 1.040 foto di funghi, 16 modelli generativi si fermano al 65% di accuratezza. Troppo poco per stabilire se un esemplare è commestibile.1
A condurre il test è Piotr Migdał, ingegnere software e founding engineer di Quesma. In un post pubblicato mercoledì invita a non chiedere ai modelli se un fungo è sicuro da mangiare. Un errore qui può avere conseguenze gravi.1
Il set di prova usa immagini di funghi danesi e informazioni su specie sicure e letali presenti in Polonia e all’estero. Migdał include 55 specie nelle categorie “sicure” e “mortali”, quindi confronta questo materiale con una libreria danese. Passa 1.040 immagini attraverso 16 modelli, “da ChatGPT a Qwen”, per misurare quale dia il consiglio più affidabile. Nel post non compare il nome del modello che raggiunge il 65%.1
Nessuno dei sistemi testati, scrive Migdał, merita fiducia “per la vita”. Anche il migliore si ferma al 65% di risposte corrette. La soglia utile per decisioni di sicurezza alimentare è diversa da quella di una semplice classificazione. Indicazione operativa: non affidarsi all’AI per decidere se un fungo si può mangiare.1
La prova chiede ai modelli di leggere una fotografia e distinguere tra “edibile” e “letale”. Procedura semplice: far passare le immagini nella batteria di sistemi e verificare l’allineamento con il riferimento danese e con gli elenchi di specie sicure e mortali. La misura finale non raggiunge un livello utilizzabile quando il costo dell’errore è elevato.1
L’elenco dei modelli copre nomi noti, come ChatGPT e Qwen, e altri sistemi. Ampliare il ventaglio non cambia l’esito: nessun modello offre risposte su cui dipendere senza rischi. Il punto non riguarda il marchio, ma il limite osservato in questo compito.1
Per chi sviluppa o valuta questi sistemi, la prova di Migdał sposta l’asticella: non basta riconoscere pattern visivi; servono garanzie quando la posta in gioco è la salute. Un banco di test così circoscritto aiuta a evitare malintesi d’uso e a progettare valutazioni aderenti al rischio reale.1
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.