LFM2.5-2.6B porta agenti locali veloci su dispositivi edge

Su Apple M5 Max LFM2.5-2.6B genera 220 token al secondo. Su una CPU AMD Ryzen tocca 113 token al secondo. Lo fa in meno di 2,5 GB di memoria in inferenza. Obiettivo dichiarato: esecuzione locale, anche su CPU¹.

“Deploy local agents everywhere.” Gli autori usano questa sintesi e parlano di prestazioni competitive con modelli quattro volte più grandi in uso di strumenti, seguire istruzioni e task multi-step¹. Il messaggio è operativo: agenti rapidi, caricabili su macchine con risorse limitate.

Numeri e percorso di addestramento sono espliciti. Pre-training su circa 34 trilioni di token. A metà, una fase di “mid-training” estende la finestra di contesto a 128.000 token. Poi il post-training trasforma il base model in un agente¹.

Il post-training segue quattro stadi. Due round di Supervised Fine-Tuning con forte peso a dati agentici: uso di strumenti, ricerca web, traiettorie da harness. Poi “teacher specialization”: un teacher specialista per dominio, tra cui matematica, codice e tool use. Terzo passaggio, “Multi-domain On-Policy Distillation” per distillare gli specialisti in uno studente unico. Chiusura con Agentic Reinforcement Learning, in sessioni multi-turno dentro harness agentici reali. Qui il modello impara a usare strumenti diversi, con prompt di sistema variabili e ambienti a più turni¹.

La pipeline di RL punta anche alla compatibilità. L’esecuzione avviene dentro gli harness agentici più diffusi, con l’obiettivo di migliorare l’integrazione del modello in quei contesti¹.

Posizionamento netto: un agente per dispositivi edge. Gli autori parlano di un modello “affidabile” progettato per questi scenari¹. L’impianto si regge su due scelte. Da una parte l’efficienza in inferenza con un budget di memoria contenuto. Dall’altra un post-training che combina SFT mirato, insegnanti specialisti, distillazione on-policy e RL multi-turno su harness reali¹.

Struttura e obiettivi restano coerenti lungo tutta la pipeline. Si parte da una base pre-addestrata con contesto esteso. Il fine-tuning concentra l’attenzione su dati agentici, strumenti e traiettorie. I teacher di dominio trasferiscono competenze specifiche, poi fusi in un unico studente tramite MOPD. Il ciclo si chiude con RL agentico in ambienti d’uso concreti, per esercitare il modello su strumenti e prompt diversi¹.

Le misure riportate su Apple M5 Max e su CPU AMD Ryzen, unite al vincolo sotto i 2,5 GB, definiscono il target: agenti locali con requisiti di calcolo ridotti¹. I claim di competitività con modelli più grandi riguardano tool use, instruction following e compiti multi-step, come indicato dagli autori¹.

Se questi numeri si replicano su hardware comune, la soglia di memoria richiesta per agenti con contesto lungo si abbassa. Questo amplia i casi d’uso locali, dall’integrazione in applicazioni desktop all’edge industriale, senza passare dal cloud¹.