Nemotron 3 Ultra supera i modelli open nel benchmark di LangChain

Nel benchmark Deep Agents di LangChain, NVIDIA Nemotron 3 Ultra ottiene l’accuratezza più alta tra i modelli open e un costo per esecuzione fino a dieci volte inferiore rispetto ai principali modelli chiusi. LangChain rileva anche un throughput superiore e più task completate dall’agente costruito attorno al modello¹.

La misurazione arriva dal framework Deep Agents. Il confronto riguarda agenti che usano modelli diversi all’interno dello stesso setup di valutazione. In quel contesto, Nemotron 3 Ultra raggiunge la parità sulle task di business con i modelli chiusi con i punteggi più alti. Il dato si riferisce al comportamento dell’agente, non solo al modello isolato¹.

LangChain attribuisce il salto di prestazioni all’ambiente di esecuzione ottimizzato per Nemotron 3 Ultra. L’intervento ha riguardato l’harness usato dagli agenti: la piattaforma ha adattato l’orchestrazione attorno al modello, e da lì sono arrivati i guadagni nel benchmark¹.

Un punto economico accompagna il risultato tecnico. Con costo per run fino a un decimo e throughput più alto, i team possono valutare in continuo e sperimentare più spesso. Questo accelera la costruzione di agenti specializzati e riduce il tempo tra un’iterazione e la successiva¹.

LangChain lega l’esito a uno stack aperto e sotto controllo dell’impresa. La piattaforma, che l’azienda descrive come ampia e adottata per l’orchestrazione di agenti, è stata ottimizzata per far girare agenti che completano più task e più in fretta. L’obiettivo dichiarato: permettere di personalizzare, possedere ed eseguire gli agenti ovunque, mantenendo uno stack completamente open¹.

NVIDIA sintetizza così il quadro del confronto nel benchmark: Nemotron 3 Ultra offre prestazioni di vertice a costo inferiore rispetto ai principali modelli chiusi, quando integrato con la piattaforma di orchestrazione di LangChain. In Deep Agents, la combinazione mostra parità sulle task di business con i modelli chiusi al top e un rapporto prestazioni/costo favorevole per l’agente basato su Nemotron 3 Ultra¹.

Implica un cambio di priorità per i team che costruiscono agenti. Se l’ottimizzazione dell’ambiente sposta le metriche nel benchmark, conviene investire su orchestrazione, strumenti e routine dell’agente oltre che sulla scelta del modello. La disciplina è operativa: più cicli di valutazione automatizzata, più prove a basso costo, più velocità nel portare in produzione miglioramenti misurati nello stesso setup di test¹.