IBM: i modelli a pesi aperti ora convengono on-premise
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Arvind Krishna dice che gli open weight offrono circa il 90% delle prestazioni dei migliori modelli a una frazione del costo token, spingendo le aziende verso soluzioni locali.
Arvind Krishna, in call con gli investitori, ha messo il confronto sul tavolo: i modelli a pesi aperti costano tra il 10 e il 25 per cento per token rispetto ai frontier e, su benchmark ampi, rendono “al 90 per cento” del migliore. Per questo “hanno perfettamente senso” in azienda, in locale1.
Nel suo racconto l’evoluzione è netta. Nel 2024, su valutazioni ampie, il modello al top “poteva prendere 70” e l’aperto “20 o 30”. Più tardi, lo scarto si è ridotto a “70 contro 50”1. Con il costo che scende e l’efficacia che sale, il quadro competitivo cambia.
Krishna lega prezzo ed efficacia in un’unica scelta di prodotto: “Vorreste qualcosa che costa il 10 per cento se è buono al 90 per cento del migliore, o volete pagare quel costo 10 volte più alto?” La convenienza, dice, emerge quando la resa è vicina e il prezzo per token resta tra “un 25 per cento a un 10 per cento” di quello dei frontier1.
L’argomento resta sui compiti concreti. Per attività diffuse in azienda, la differenza residua non giustifica il sovrapprezzo. Esempi citati: riassumere un’email, esaminare un contratto, rispondere a una chiamata clienti, comporre un’email1. In questi casi la scelta pende verso pesi aperti in locale.
Il perimetro del confronto, precisa, sono benchmark “ampi”, non mirati su un singolo task. Dentro quel perimetro, i numeri chiave stanno in un solo rapporto: efficacia al 90 per cento con un costo per token tra il 10 e il 25 per cento rispetto ai modelli di punta. Ne deriva, per l’uso on-premise nelle imprese, una scelta che coniuga controllo e budget, senza inseguire il picco assoluto1.
Resta uno spazio per i frontier. “Alcuni” compiti lo richiedono, ammette Krishna, ma non la “grande maggioranza” di quelli tipici d’ufficio e di servizio clienti1. La discriminante diventa operativa: quando serve davvero il massimo, i frontier restano un’opzione. Per tutto il resto, il rapporto costo-efficacia spinge verso i modelli a pesi aperti in locale1.
La domanda finale è rivolta ai CIO, non ai benchmark: quanti task, nelle vostre pipeline, richiedono davvero il massimo?1
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Fedeltà alle fonti. Un secondo passaggio toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 9/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 8,0/10 dopo 1 revisione.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.