A San Leandro test con Jenga: Encord registra onde cerebrali per addestrare robot

A San Leandro Encord registra le onde cerebrali di un operatore che gioca a Jenga per addestrare robot¹. Nel magazzino c’è un tavolo, una torre che traballa, blocchi di legno che scorrono piano. Il trainer, Andrew Ceja, indossa un visore con videocamera e sensori. L’azienda chiama “pilot” i propri addestratori. Riprende ciò che vede e ciò che prova mentre sfila i pezzi. Non un demo da palco, ma una sessione di raccolta dati in ambiente reale¹.

Videocamera e sensori lavorano insieme. L’ottica frontale segue lo sguardo di Ceja e sincronizza il video con le sue mani che spingono i blocchi. Gli elettrodi rilevano l’attività cerebrale durante ogni micro-movimento. Dalla fusione nasce un dataset che allinea tre canali: cosa guarda, cosa fa, quali segnali neurali emergono in quell’istante. Il visore arriva da Zander Labs, una startup tedesca di neuroscienze. La loro tesi: stati come errore, intenzione e sorpresa, se misurati mentre accadono, aggiungono informazione che i soli video non catturano in modo diretto¹.

Encord scommette sul dato, non sul prossimo modello. L’ostacolo per la robotica che opera nel mondo fisico, sostiene, è la scarsità di esperienze reali ben etichettate. Non bastano simulazioni o benchmark di laboratorio. Servono tracce di azioni umane, raccolte mentre succedono. Per questo l’azienda non si limita a gestire i dataset dei clienti. Produce i dati che mancano. Inizia da compiti semplici e verificabili. Jenga in un magazzino, non un ambiente virtuale¹.

Il setup resta un “pilot”. Campo controllato, regole chiare, un obiettivo misurabile: non far cadere la torre. L’approccio non sostituisce il video. Lo arricchisce con un livello di segnali che punta a cogliere attenzione, esitazioni, segnali di errore. Se quei marcatori neurali correlano con esiti migliori, i modelli potrebbero apprendere strategie più robuste dal punto di vista motorio e decisionale. Se invece rumore e variabilità superano il segnale utile, resterà un canale in più senza vantaggio pratico. Il banco di prova è qui, fra un paio di pinzate di dita e un crollo evitato per millimetri¹.

Il test mette a fuoco una scelta di campo per la “physical AI”: spostare l’investimento dalla progettazione di reti alla produzione di esperienze sul campo. Nel breve, Jenga offre un terreno neutro per calibrare sincronizzazione tra video e segnali cerebrali, validare annotazioni e misurare coerenze. Nel medio, l’interrogativo è operativo: quanta generalizzazione si salva quando si esce dal tavolo di legno e si entra tra scaffali, cassette e oggetti irregolari? La risposta deciderà se altri laboratori seguiranno la strada aperta a San Leandro, costruendo pipeline per creare, più che trovare, i dati che servono¹.