Engram, lookup nativo per i transformer: migliora ragionamento e codice a parità di risorse

Un team legato a DeepSeek presenta Engram, un modulo che fornisce ai transformer una primitiva nativa per il recupero di conoscenza. Scalato a 27 miliardi di parametri, supera un baseline mixture-of-experts a parità di parametri e FLOPs su tutti i benchmark riportati dagli autori¹.

Il lavoro è descritto nel paper “Conditional Memory via Scalable Lookup”, identificato su arXiv come 2601.07372. Il preprint risulta sottomesso a gennaio 2026 e revisionato a luglio 2026¹. L’idea alla base è diretta: i modelli odierni ricalcolano fatti già noti, come “capitale della Francia uguale Parigi”, attivando miliardi di parametri per arrivare a una risposta fissata in addestramento. Gli autori chiedono perché non guardare in una tabella e riservare il calcolo al pezzo difficile del compito¹.

Engram introduce una memoria interrogabile in modo esplicito. Non un accessorio esterno, ma un meccanismo integrato che il modello usa per recuperare conoscenza quando serve. La fonte lo sintetizza come una primitiva nativa di lookup: un’operazione di primo livello nel flusso del transformer, pensata per evitare di rifare ogni volta lo stesso calcolo su fatti stabili¹.

Il risultato quantitativo chiave riguarda il confronto con un mixture-of-experts di pari risorse. Alla scala indicata, 27 miliardi di parametri, il sistema con Engram batte il baseline iso-parametri e iso-FLOPs su ogni benchmark riportato dagli autori. La comparazione non si limita a un test. Copre l’insieme di prove che il paper elenca. La fonte sottolinea che il vantaggio si manifesta in modo consistente dentro quel perimetro¹.

La sorpresa è dove si vedono i guadagni maggiori. Non sui test puramente di conoscenza, ma su ragionamento e codice. La fonte offre un’analogia semplice: due impiegati, uno brillantissimo che ricalcola tutto ogni volta, l’altro con un taccuino ben indicizzato. Il secondo libera attenzione occupandosi dei fatti con un colpo d’occhio, e investe lo sforzo sul problema vero. Engram porta ai transformer quel taccuino. La conseguenza, nelle metriche riportate dagli autori, è un miglioramento più netto proprio su compiti di ragionamento e programmazione rispetto alle prove di memoria di fatti¹.

Il quadro che emerge è circoscritto ai dati pubblicati. La fonte indica il titolo del preprint, l’identificativo arXiv e le date di sottomissione e revisione. Evidenzia la natura del modulo come lookup nativo, riporta la scala del modello considerato e la condizione del confronto con mixture-of-experts a parità di parametri e di FLOPs. Sottolinea infine che i miglioramenti più marcati non riguardano la semplice conoscenza, ma ragionamento e codice¹.

Il lavoro, così presentato, mette al centro un cambio di priorità: trasferire pezzi di conoscenza in una memoria consultabile, e spendere il budget di calcolo sui passaggi che richiedono deduzione e pianificazione. Nella fonte, l’aspetto distintivo è proprio questo scambio, lookup al posto del ricalcolo, e l’effetto misurato su classi di compiti diversi dai knowledge test¹.