Ray lancia un SIG per acceleratori hardware e presenta una roadmap

Ray ha istituito uno Special Interest Group per il supporto agli acceleratori hardware, con una roadmap su infrastrutture di test, rilevamento dell’hardware e networking/transport¹.

Ray nacque a UC Berkeley più di dieci anni fa, quando il “distributed computing” significava soprattutto cluster CPU con Hadoop e Spark. Le GPU stavano solo entrando nel machine learning¹. Oggi NVIDIA RTX PRO 6000 Blackwell Server Edition è pensata per carichi misti tra training, inference, grafica e video. NVIDIA HGX B200 e la piattaforma full-stack aumentano la memoria per modelli più ampi. NVIDIA GB200 NVL72 collega 72 GPU Blackwell per training e inference su larga scala con comunicazione intensa. AMD MI355X alza la memoria per i modelli grandi. Google Ironwood TPU è per workload di scala massiva. NVIDIA Groq 3 LPU mira all’inferenza a bassa latenza¹.

Il progetto oggi supporta più di una dozzina di acceleratori, dalle GPU NVIDIA e AMD a TPU, Trainium, Gaudi e altri¹. L’obiettivo dichiarato: rendere gli acceleratori facili da usare, efficienti su larga scala e affidabili in produzione, con uno sforzo coordinato e sistematico¹.

Il SIG riunisce vendor hardware, contributori di Ray e sviluppatori di applicazioni. Il mandato è definire una roadmap condivisa e “vendor-neutral” per il supporto agli acceleratori, così che i carichi Ray evolvano anche con dispositivi sempre più specializzati e frammentati¹.

Prima area: infrastruttura di sviluppo e test. Il gruppo vuole un processo documentato per integrare acceleratori ospitati da cloud e vendor nell’infrastruttura di Ray, con accesso ai contributori per riprodurre e debuggare i problemi. Chiede ambienti riproducibili con versioni esplicite di driver, runtime e dipendenze, per allineare i risultati della CI e la validazione tra provider. Prevede una copertura CI più ampia: controlli mirati sulle pull request e test notturni e di release su workload distribuiti, recovery da failure e regressioni di performance, oltre alla funzionalità di base dei device. Infine governance e operatività sostenibili: ruoli chiari per la manutenzione, visibilità su risultati e stato dell’infrastruttura, gestione di capacità e costi¹.

Seconda area: consapevolezza dell’hardware nello scheduling. Ray deve sapere che cosa c’è in ogni nodo e come è connesso: topologia tra acceleratori, CPU e NIC, e aggregazione in domini più ampi come rack o slice TPU¹. La roadmap include interfacce comuni per etichettare l’hardware, rappresentarne l’architettura e descriverne le specifiche, così che librerie e applicazioni puntino a capacità e non a codice specifico per vendor. Prevede un modo coerente per identificare gli SKU, inclusi quelli lanciati di recente, e un punto di estensione con checklist per l’aggiunta di nuovi acceleratori. La discovery va rafforzata, con ownership chiara per ogni integrazione e copertura in CI. Deve catturare topologia e architettura, non solo tipo e numero di device. Serve integrazione con piattaforme e cloud, perché alcune informazioni esistono solo lato provider, per esempio l’appartenenza a un rack o a una slice. La dashboard di Ray dovrà mostrare gli acceleratori nel cluster, le loro connessioni e le metriche, per verificare rappresentazione e placement¹.

Terza area: networking e transport. È parte della roadmap iniziale del SIG, al pari delle altre due¹.

Il gruppo vuole anche dare a vendor e cloud provider un percorso per contribuire risorse ed expertise alla pipeline di sviluppo e test di Ray¹.