REINFORCE Zero rende stabile l'RL asincrono allineando i kernel
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
NVIDIA Research e Inferact mostrano che eliminare la discrepanza computazionale tra rollout e learner permette di usare importance sampling non troncato e ottenere training asincrono più veloce e stabile.
NVIDIA Research e Inferact presentano REINFORCE Zero, una ricetta che allinea i kernel tra rollout e learner e usa importance sampling non troncato per addestrare in modo stabile in asincrono, con 20.000 aggiornamenti riusciti e 2,40× il throughput per passo rispetto al training sincrono con kernel allineati1.
L’RL asincrono corre più veloce perché rollout e learner lavorano in parallelo. Paga un ritardo dei pesi: si addestra su campioni generati con pesi più vecchi. REINFORCE Zero riporta lag 2 e 8 su compiti di ragionamento matematico e lag 64 su uso agentico di tool1. La correzione standard è l’importance sampling: si ripesa ogni token con il rapporto π su μ.
Il divario di logprob tra learner e rollout ha due termini: weight lag e kernel mismatch. Il primo cambia in modo regolare e l’IS lo può compensare. Il secondo nasce da come si computano le probabilità e introduce fluttuazioni anche con pesi identici. Il paper misura l’effetto con D3, la media per aggiornamento di w meno 1 meno log w, su DeepSeek-R1-Distill-Qwen-1.5B. Con kernel allineati i picchi di D3 sono 1,50× la mediana. Con kernel standard toccano 442,54×. L’allineamento azzera il termine di kernel, e l’IS non troncato gestisce il solo weight lag in modo regolare1.
La ricetta ha tre passi. Primo, allineare i kernel: rollout e learner calcolano la stessa logprob sugli stessi pesi e token. Così il termine di mismatch vale esattamente zero. Secondo, applicare l’IS a livello di token, senza clipping né filtri: il learner divide la sua probabilità per quella registrata dal rollout. Terzo, ottimizzare REINFORCE “puro”: vantaggio per risposta dato da reward meno la media del gruppo, media dei token entro risposta, nessun modello di valore e nessun gate di rifiuto1.
Sul clipping dei pesi di importance: a storia fissata, pesare con il rapporto esatto rende l’aggiornamento atteso uguale a quello sotto la policy corrente. Il clipping introduce in genere bias. Il paper mostra che il mismatch amplifica la varianza dell’aggiornamento e restringe la finestra di step-size stabile anche con IS non distorto. Le prove sperimentali attribuiscono le grandi escursioni al kernel mismatch. Togliendolo, l’IS non troncato resta stabile1.
REINFORCE Zero si allena stabilmente per 20.000 aggiornamenti. Impara con lag 64 su task agentici. Raggiunge 2,40× il throughput per passo del training sincrono quando i kernel sono allineati1. Nel post precedente, vLLM e trainer hanno prodotto la stessa logprob per ogni token campionato sui kernel veloci, con un calo di rollout throughput dell’8,7%. Un agent skill ora esegue l’allineamento a ogni nuovo modello1.
Senza allineamento, in un run asincrono con kernel standard la mediana della KL rollout-learner cresce di 83,33× tra le prime e le ultime 1.000 update. L’online AIME24 pass@1 scende da 34,27% a 13,96%. La norma massima del gradiente prima del clipping arriva a 38,27, contro 0,0555 con kernel allineati. Aggiungere un sequence gate aiuta, ma il problema di fondo resta il mismatch1.
Zero mismatch ora copre DeepSeek-V4.1-Flash, con DAPO rollout step entro il 10% della baseline veloce, e Kimi K3.1 al giorno 0. Copre anche DeepSeek-V4-Flash e Kimi K3.1 su AMD MI355X. Tutto il materiale è nel repository Inferact/zero-mismatch-rl1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Rilettura. Un passaggio toglie i tic della prosa generata da un modello, come i contrasti costruiti e le frasi che annunciano invece di informare, senza toccare fatti e fonti.
- Fedeltà alle fonti. Un passaggio dedicato toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 9/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 8,1/10.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.