AWS mostra come aumentare del 40% il throughput di RL su modelli MoE

Su Amazon EKS, l’accoppiata Elastic Fabric Adapter e DeepEP dà fino al 40% di throughput in più nel reinforcement learning di modelli Mixture‑of‑Experts, in carichi con centinaia di acceleratori.¹

Il post di AWS parte da tre ostacoli pratici nel post‑training RLHF o GRPO su larga scala: coordinare compute eterogeneo tra generazione dei rollout e training della policy; mantenere comunicazioni ad alto throughput tra molti nodi; orchestrare i sottosistemi in modo dinamico per evitare squilibri. La proposta combina Amazon EKS per l’orchestrazione, EFA per la rete a bassa latenza e DeepEP per spingere l’efficienza delle comunicazioni.¹

I modelli Mixture‑of‑Experts sono una scelta ricorrente per scalare i large language model. La loro sparsità aiuta in inferenza, ma non semplifica il training. La pipeline di addestramento resta lunga: pre‑training, mid‑training, fine‑tuning supervisionato e, infine, reinforcement learning. Proprio quest’ultima fase, quando la scala cresce, mette più pressione su orchestrazione e rete.¹

Nei flussi di RL, la generazione dei rollout ha profili di carico diversi dal training della policy. Se uno dei due rallenta, l’intero sistema perde efficienza. Da qui l’enfasi su un coordinamento stretto e su meccanismi che riducono i tempi di attesa tra componenti.¹

Le comunicazioni tra nodi diventano il collo di bottiglia principale. EFA fornisce un canale a bassa latenza e alto throughput tra istanze. DeepEP interviene per migliorare ulteriormente lo scambio di dati durante le fasi critiche del training. Insieme, puntano a tenere alta la velocità di sincronizzazione quando gli acceleratori crescono di numero.¹

EKS tiene insieme i pezzi. Orquestra i servizi che generano rollout e i job che addestrano la policy. Alloca risorse in modo flessibile. Aiuta a mantenere bilanciati i due flussi, così da limitare i colli di bottiglia. L’obiettivo operativo è semplice: non far aspettare la policy per nuovi rollout e non lasciare inattivi i nodi di generazione.¹

Il risultato riportato dagli autori è netto: fino al 40% di throughput in più nell’addestramento RL di MoE a grande scala con la combinazione EKS, EFA e DeepEP. Il contesto è esplicito: carichi che coinvolgono molte GPU (o acceleratori equivalenti) e necessità di comunicazioni stabili e veloci. Il focus resta tecnico e circoscritto all’infrastruttura di rete e all’orchestrazione su AWS.¹

RLHF e GRPO sono i casi tipici citati per il post‑training che stressano rete e scheduler. La generazione dei rollout e il training della policy devono avanzare di pari passo. Quando la scala cresce, è la capacità di tenere alto il ritmo delle comunicazioni a determinare la resa finale.¹

Chiusura pragmatica: il post isola la fase di reinforcement learning come il punto più sensibile dei MoE a scala ampia. Ne deriva una priorità operativa chiara per chi lavora su AWS con questi carichi: investire prima su rete (EFA, DeepEP) e orchestrazione (EKS) invece che su altri fattori, perché è lì che, secondo i test mostrati, si recupera la quota maggiore di throughput.¹