Baseten pubblica joey-1, decision model da 2 miliardi a 0,01$

Joey-1 costa 0,01 dollari per 1 milione di token in input e risponde in 20 millisecondi: Baseten lo presenta come un modello di decisione da 2 miliardi di parametri per routing, classificazione e guardrail, non per generare testo¹.

Il modello nasce in Base Labs e deriva da Qwen3.5-2B, con una fase di post-training per decisioni. L’output è una coppia: etichetta e probabilità calibrata. L’uso è diretto, si invia uno stato, testo o immagini, insieme a una o più domande tipizzate. Un solo forward pass produce la decisione¹.

Contesto e prestazioni in un blocco compatto. Sequenza massima di 16.384 token tramite le API standard, con un’opzione fino a 262.000 token sui deployment dedicati. Latenza P50 pari a 20 millisecondi per decisione. Prezzo fissato a 0,01 dollari per milione di token in input. Distribuzione via Baseten Model APIs o in self hosting su una GPU CUDA. La documentazione non indica la VRAM necessaria, né elenca build quantizzate ufficiali. I pesi sono pubblici su Hugging Face con licenza MIT¹.

Sul benchmark, Baseten posiziona joey-1 come il migliore sotto i 4 miliardi di parametri nella metrica Jev Decision Index 0.4, public split. Punteggio 63,30, trentasettesimo posto su 230 modelli nella stessa classifica. Nello stesso confronto, elephant-1 da 9 miliardi di parametri totalizza 72,24, pari a 8,94 punti in più rispetto a joey-1¹. Una riga di contesto per i non specialisti: il Jev Decision Index è un indice comparativo usato per confrontare modelli focalizzati su compiti di decisione, qui nella versione 0.4 public split¹.

Baseten esplicita anche il perimetro funzionale: routing ad alto volume, classificazioni e controlli di guardrail. Segnala inoltre una conoscenza generale inferiore rispetto ai modelli più grandi della stessa famiglia, un compromesso atteso per dimensione e specializzazione¹.

Per l’adozione, le opzioni operative si riducono a due. Accesso gestito tramite le API del fornitore, oppure esecuzione autonoma su una singola GPU CUDA. Restano non documentati alcuni dettagli utili al self hosting, in particolare la memoria video richiesta. Mancano inoltre build quantizzate ufficiali, un’assenza da considerare in ottica di distribuzione su hardware limitato¹.

Il pacchetto, nel suo insieme, mira a decisioni rapide e a basso costo su input lunghi, con un’API che restituisce etichette e probabilità calibrate invece di testo libero. Il piazzamento nel Jev Decision Index offre un riferimento concreto per chi valuta modelli di decisione compatti. La mancanza di indicazioni su VRAM e quantizzazione potrebbe però rallentare i test on-premise, proprio nel segmento a cui il self hosting guarda¹.