Da 9B a 0,8B e dall'on‑cloud all'on‑device: come cambiano tradeoff e strumenti per l'AI

Con 16 dollari e un giorno di lavoro, un autore ha distillato il prompt rewriter ufficiale di Qwen‑Image 2.1 da 9 miliardi a 0,8 miliardi di parametri. Il modello compresso gira su CPU e usa circa un quarto dei token del “teacher”. In parallelo, Google rilascia Foresight, app per Mac che registra, trascrive e sintetizza note di riunione senza uscire dal dispositivo. Sul fronte hardware, arrivano anelli e bracciali che attivano agenti con un gesto e promettono integrazioni con i principali LLM. La tesi: miniaturizzazione più prossimità all’utente riscrivono compromessi su privacy, latenza, integrazione e qualità.

Dimensione e costo: una riduzione concreta, a budget minimo

Il punto di partenza era netto: il prompt rewriter di Qwen‑Image 2.1 a 9B risultava troppo pesante, con richieste di memoria nell’ordine dei 20 GB, e sullo Hub esistevano solo versioni compresse dello stesso 9B, nessun modello piccolo pronto. Dopo un brief in HuggingChat, ML‑Intern ha pianificato, allocato il budget, condotto test preliminari, addestrato e valutato la variante compatta.

Risultato: un modello da 0,8B che funziona su CPU. Budget totale dichiarato: 16 dollari, inclusa l’etichettatura di 8.797 richieste con il 9B “teacher”. La model card indica “99,7% di output validi”, senza definire i criteri né fornire altri dettagli metodologici. La lezione è pratica: la compressione funziona a costi bassi; la misurazione della qualità richiede standard più chiari.

Questa riduzione alleggerisce dipendenza da GPU e apre al riuso su hardware comune. Impone però rigore su dataset di controllo e metriche comprensibili. Percentuali elevate, senza definizioni, aiutano poco nell’ingegneria di prodotto.

On‑device e wearable: l’elaborazione si avvicina all’utente

Foresight opera in locale su Mac. Registra l’audio, trascrive, sintetizza “polished notes” e risponde a domande sui contenuti delle riunioni. Per la comprensione del testo usa EmbeddingGemma 2 on‑device. Google afferma che appunti, audio e documenti collegati “non lasciano il computer”. L’obiettivo dichiarato è ridurre i passaggi tra strumenti separati e garantire operatività anche senza rete. Privacy e continuità d’uso guadagnano; la capacità computazionale segue i vincoli del dispositivo.

Sul polso, Natura presenta Interface, anello da 99 dollari che si attiva con una pressione. Consente di catturare pensieri, eseguire compiti e avviare azioni senza estrarre il telefono. Rileva battito, variabilità della frequenza cardiaca, sonno e attività. Al lancio si collegherà a Muse di Meta, Instinct, Grokbot, Claude e ChatGPT. “Altre integrazioni” sono annunciate. Preordini nel prossimo mese; spedizioni tra dicembre e gennaio. Il gesto è minimo: premere e parlare. L’assistente ascolta e agisce durante l’attività dell’utente.

Persona, fondata da Zach Yadegari dopo la vendita di Cal AI a MyFitnessPal, annuncia un assistente basato su agenti e un dispositivo da polso “in arrivo” a 179 dollari. Nessuna specifica tecnica, nessuna data. Il round è da 10 milioni, guidato da Vine Ventures con la partecipazione di Cory Levy e Collective Global. Il confronto con Instinct e Muse di Meta appare come paragone, ma i dettagli concreti si limitano al prezzo.

Modelli piccoli, agenti sempre attivi e architetture ibride

I casi sopra delineano due traiettorie che convergono. Da un lato, funzioni ridotte che girano su CPU o su Mac, con dati che restano in locale. Dall’altro, agenti che coordinano compiti tra strumenti e dispositivi, con esecuzione nel cloud quando serve.

Google introduce un agente Gemini “universale” che lavora in background tra app e dispositivi. È lo stesso assistente in Gmail, Drive, Docs, Sheets, Calendar e altre app di Workspace. Si apre una chat, si descrive l’attività, il sistema esegue senza cambiare strumento. Fuori da Workspace resta accessibile su mobile, desktop e web, e in app di terze parti come Slack o Microsoft 365. Mantiene il contesto nel passaggio tra dispositivi ed esegue nel cloud. L’architettura prevede sub‑agent dedicati; l’agente principale li coordina e seleziona in automatico il modello più adatto.

Accostiamolo a Foresight. Una pipeline interamente on‑device per trascrizioni, riassunti e Q&A, con dati che “non lasciano il computer”. Un agente cloud‑centrico che orchestra sub‑agent e mantiene contesto tra strumenti e device. Esperienze d’uso diverse, test diversi: consumi e latenza locale contro affidabilità e continuità multi‑device; controllo dei dati contro integrazione profonda tra servizi.

I wearable aggiungono un vincolo. L’attivazione a pressione richiede avvii rapidi e integrazioni di terze parti senza frizioni. La qualità percepita dipende da tempi di risposta e dai flussi dei dati sensibili (biometrici e audio) verso i servizi collegati. In assenza di specifiche pubbliche, resta aperta la distribuzione tra locale e cloud e la gestione dei confini.

Implicazioni per sviluppo, QA e privacy

Portare un modello da 9B a 0,8B e farlo girare su CPU riduce costi e amplia le opzioni di deployment. Chiede però pipeline di validazione trasparenti. La model card riporta “99,7% di output validi” senza definire i criteri: difficile valutare regressioni, confrontare versioni e fissare soglie d’accettazione in produzione.

Le app on‑device per audio di riunioni spostano il baricentro della privacy operativa. Google dichiara che audio, appunti e documenti collegati “non lasciano il computer”. Per il QA cambiano i test: persistenza locale, permessi di file system, rotazione dei log, comportamento offline. La sicurezza diventa anche controllo dei processi sul dispositivo, non solo rete e API.

I wearable che misurano biometrie e si collegano a agenti come Muse, Instinct, Grokbot, Claude e ChatGPT portano dati sensibili in flussi sempre attivi. Il QA deve coprire integrazioni con terze parti, gestione degli errori di rete, meccanismi di retry e garanzie di non perdita dati, oltre alla trasparenza sulle destinazioni dei segnali. Nel caso del bracciale di Persona, senza schede tecniche e senza data, la valutazione resta sospesa fino a prove sul campo.

Gli agenti ibridi alla Gemini impongono verifiche su orchestrazione, scelta automatica dei modelli e mantenimento del contesto tra dispositivi. Per chi sviluppa significa tracciamento degli stati, logiche di coordinamento osservabili e test sugli handoff tra canali. La qualità non coincide soltanto con la correttezza della singola risposta: conta la continuità dell’attività quando si passa da desktop a mobile o da una suite a un’app terza.

Cosa osservare nei prossimi mesi

• Metriche e card dei modelli ridotti su Hub. Dal 0,8B di ML‑Intern in poi, servono criteri pubblici di “validità” e set di valutazione ripetibili.
• Integrazioni reali di Interface con Muse, Instinct, Grokbot, Claude e ChatGPT, e policy sui dati biometrici e audio lungo la catena di esecuzione.
• Evoluzione degli agenti ibridi come Gemini: bilanciamento tra on‑device e cloud in contesti di produttività, con mantenimento del contesto e controllo dei dati.
• Dettagli del dispositivo di Persona. Senza specifiche e data di lancio, la verifica resta alla prova d’uso quando emergeranno hardware e flussi concreti.

Il segno dei fatti è duplice: prossimità e controllo quando conta la sensibilità dei dati o la latenza; coordinamento e continuità quando serve integrare servizi e dispositivi. Per chi costruisce, la scelta si gioca nel progetto, nei test e nelle metriche, più che in un aut‑aut tra locale e cloud.