Together Compiler: agenti AI riscrivono i kernel GPU, il deploy resta umano

Together AI ha presentato mercoledì Together Compiler, un sistema che genera, testa e migliora i kernel GPU della propria infrastruttura di inference. Gli agenti eseguono il tuning senza un ingegnere su ogni esperimento. Prima del rilascio in produzione, però, una persona rivede le modifiche e avvia il deploy.¹

L’azienda lega l’iniziativa al ritmo dei modelli. Ogni modello ha esigenze diverse, e il codice ottimizzato per un carico può andare peggio su un altro. Secondo Together AI, l’80% del traffico su OpenRouter arriva oggi da modelli pubblicati negli ultimi tre mesi. Gli ingegneri si trovano così a rincorrere aggiornamenti continui. Il compilatore automatizza gran parte di quel lavoro.¹

Il sistema coordina più agenti che sperimentano in parallelo. Scrivono e testano nuovi kernel, poi condividono i risultati. Questo accelera il ciclo successivo di tentativi. Together AI definisce “autonomo” il loop di ottimizzazione. Le valutazioni finali e la procedura di rilascio possono avvenire in automatico, ma serve l’avvio da parte di un umano, che controlla i cambiamenti prima della produzione.¹

La fase di prova sfrutta un accorgimento preciso. Invece di riavviare il motore di inference a ogni modifica, Together Compiler lo mantiene in esecuzione e carica il nuovo codice. L’azienda afferma che il tempo di inizializzazione scende così da circa 467 secondi a 9 secondi. Questo taglio apre spazio a molte più iterazioni.¹

Sui numeri, Together AI parla di 252 volte più esperimenti di ottimizzazione rispetto a sistemi a agenti presi come riferimento. Come baseline, ha usato l’harness RSI Inference Bench di Apple. Il confronto ha mantenuto invariati carico di lavoro e hardware, cambiando solo l’approccio di ottimizzazione. Il 252x riguarda la quantità di esperimenti possibili, non la velocità dei modelli.¹

L’azienda riporta anche aumenti di throughput fino a 2,6 volte rispetto a configurazioni pubblicate nei benchmark. L’entità dipende da modello e hardware. Non c’è una verifica indipendente di questi risultati. Più esperimenti in meno tempo offrono agli agenti la possibilità di trovare miglioramenti che, a mano, richiederebbero giorni o settimane.¹

Capitolo prezzi. Together AI parla di efficienza più alta dell’infrastruttura. A parità di spesa in dollari, i clienti otterranno prestazioni migliori. Non promette riduzioni di prezzo per token. Il messaggio resta: più lavoro dagli stessi GPU, stesso costo per l’utente finale.¹

La società aggiunge che Together Compiler è già in uso su scala di “trilioni di token al giorno”. Il dato segnala che gli agenti stanno entrando anche nell’ottimizzazione delle prestazioni GPU, non solo nella scrittura di applicazioni. Il ruolo degli ingegneri si sposta sulla revisione e sull’avvio dei rilasci, con il grosso dell’esplorazione automatizzato durante la notte.¹

Chiusura operativa: se il taglio dei tempi di inizializzazione regge, i team potranno pianificare batch di esperimenti più fitti tra un deploy e l’altro. La leva non è lo sconto, è l’uso più denso dell’hardware che si ha già.¹