ZenteiQ quadruplica l'inferenza batch con GKE Inference Gateway

ZenteiQ ha portato il throughput di inferenza batch a 4,07 volte il precedente, aumentando la produzione giornaliera da 1,47 a 5,97 miliardi di token per ogni 1.000 acceleratori, usando GKE Inference Gateway con llm-d¹.

La startup nasce dall’Indian Institute of Science. È stata selezionata nell’ambito della IndiaAI Mission per costruire modelli di base scientifici sovrani, partendo da zero¹. Il lavoro si concentra su modelli che devono comprendere sistemi fisici complessi, equazioni governanti e solver numerici. Non si tratta di modelli generalisti addestrati principalmente su testi web e codice, ma di modelli scientifici con vincoli matematici e fisici¹.

Per pre-addestrare questi modelli, ZenteiQ ha progettato e costruito una pipeline di generazione di dati sintetici su larga scala. La pipeline opera in batch, attraversa più famiglie di modelli e alimenta i run di training con set di dati verificati¹. In questo flusso, Google Kubernetes Engine e GKE Inference Gateway hanno fornito il livello di instradamento dell’inferenza, integrato nella pipeline, che ha consentito di scalare il throughput aggregato di inferenza 4,07 volte¹.

Il post di Google Cloud attribuisce la crescita della produzione giornaliera, normalizzata per 1.000 acceleratori, al passaggio da 1,47 a 5,97 miliardi di token. Il risultato arriva dall’adozione dell’inference routing sul gateway all’interno della pipeline batch, non da cambiamenti di obiettivo o impostazione del pre-addestramento dichiarati nella fonte. La descrizione collega esplicitamente l’uso di GKE e del GKE Inference Gateway, indicato come “powered by llm-d”, al salto di throughput e alla capacità di generare più token a parità di acceleratori¹.

Gli autori del caso sono Prof. Sashikumaar Ganesan, fondatore di ZenteiQ, e Fisayo Feyisetan, product manager di Google Kubernetes Engine. La narrazione si presenta come un contributo diretto dell’azienda utente e del team di prodotto del fornitore, pubblicato sul blog di Google Cloud¹.

La fonte chiarisce la natura dei modelli alla base di questo sforzo: a differenza dei modelli generali, quelli scientifici devono rispettare leggi fisiche e strutture matematiche. Questo orienta la scelta di generare dati sintetici in batch e di verificarli prima di alimentarli nei run di training. La pipeline descritta nasce per sostenere questo tipo di pre-addestramento, gestendo più famiglie di modelli e integrando uno strato di instradamento dell’inferenza per aumentare il throughput complessivo¹.

Il testo disponibile non dettaglia altre variabili operative. Non indica la configurazione hardware oltre al riferimento a 1.000 acceleratori come base di normalizzazione. Non specifica la durata delle misure, né entra in metriche di latenza o in considerazioni di costo. La metrica pubblica è il rapporto di scaling del throughput di inferenza e i token generati per 1.000 acceleratori nel ciclo batch¹.

Il caso fornisce quindi due coordinate concrete: una pipeline di generazione dati sintetici per modelli scientifici e un livello di instradamento dell’inferenza su GKE che aumenta il throughput aggregato. Dentro queste coordinate si colloca la crescita da 1,47 a 5,97 miliardi di token giornalieri ogni 1.000 acceleratori, ottenuta con GKE Inference Gateway “powered by llm-d”¹.