Gli articoli di Millebit sono scritti con l’intelligenza artificiale a partire da fonti citate in ogni pezzo. Come lavoriamo
Come costi, accesso e capacità di calcolo ridefiniscono pratiche e decisioni nella creazione e nel test dei modelli AI
How the hell does Jev cost $0.00 after using more than 1M tokens (on my new search site) an LLM would have charged me $3-5 already. Jev pricing is incredible, pricing is per *billions* of tokens not millions huge reason this spreads like wildfire. great work @CompleteSkeptic
Inkling 2 Small on OpenCode for free for a limited time, to help us improve our models further: https://opencode.ai/data/thinkingmachines/inkling-2-small
Inkling 2 Small è «gratis per un periodo limitato» su OpenCode. Lo annuncia Soumith Chintala, cocreatore di PyTorch e voce ascoltata dagli sviluppatori. L’accesso gratuito rimuove l’attrito iniziale. La scheda indica input testo e immagine. L’invito a provarlo per migliorare i modelli chiarisce il baratto: uso in cambio di telemetria e riscontri.
Per chi mantiene flussi, si può inserirlo in un A/B su OpenCode e misurare qualità, latenza e costo, senza crediti iniziali e senza integrazioni aggiuntive. conviene raccogliere tracciati e fissare riferimenti su task, prima che finisca la gratuità. Giudizio della redazione: mossa utile e trasparente, con il limite del periodo promozionale e della mancata dichiarazione del perimetro di conoscenza. Serve validare i casi d’uso prima di promettere risultati.
Data scaling and compute scaling are *multipliers* for the generalization power of an approach. Trillions of dollars in investment can make very inefficient, low-generalization approaches look adequate, but that doesn't make them the ultimate end-all-be-all of AI. You should work on methods that *can* scale, because if you don't benefit from this multiplier you simply can't compete. But you should keep in mind scaling is only a multiplier: a cleverer approach will scale *better*.
François Chollet, autore di Keras e di ARC, richiama un criterio operativo semplice: trattare dati e calcolo come moltiplicatori richiede metodi che migliorano già a scala media. Il riferimento concreto è ARC, che prova trasferibilità e ragionamento fuori distribuzione. Se con più dati e GPU la loss scende ma il punteggio su ARC resta piatto, il metodo non generalizza meglio, accumula solo capacità in-distribuzione.
La misura che conta in pratica è la curva di apprendimento: efficienza campionaria visibile presto e stabilità del gap tra validazione in-distribuzione e ARC. Un team senza l’infrastruttura dei giganti deve investire nella progettazione algoritmica e nel monitoraggio di queste curve invece che nel puro volume di calcolo. Giudizio della redazione: la priorità va a metodi con segnali OOD verificabili, non a incrementi di flops e dataset senza evidenza di generalizzazione.
Giudizio della redazione: il costo guida le scelte tecniche. Gergely Orosz porta un dato concreto, «costa 0,00 dollari dopo oltre 1M di token», e indica una tariffazione a miliardi di token dove finora i listini parlavano di milioni e gli scontrini stavano sui 3-5 dollari. Parla con team in produzione e guarda gli attriti reali, quindi la lettura è pratica: la riga usage del conto è il bersaglio e l’ansia da token in fase di ricerca scende.
La conseguenza utile è l’architettura più semplice. Se il costo marginale cala, ha senso limitare i riassunti aggressivi del prompt e potare meno il recupero documenti, così si amplia il contesto e si tagliano memorie intermedie delicate. Restano da verificare stabilità e limiti operativi, ma una tariffazione a miliardi preme sui listini concorrenti e favorisce throughput alto dove serve volume.