L'infrastruttura per agenti: come inferenza locale, cloud e pagamenti chiudono il ciclo operativo

Orca Security dichiara un taglio del 90% dei costi e del 75% della latenza rispetto al baseline iniziale, traducendo domande in query Sonar con un agente su Amazon Bedrock. Discovery AI consente agli analisti di interrogare oltre 900 modelli cloud in linguaggio naturale, senza ricordare nomi di modello e 18 operatori di filtro. La tesi: modelli agentici on‑device, orchestrazione cloud, attivazione centralizzata degli accessi e pagamenti machine‑to‑machine si stanno combinando in un’infrastruttura operativa che permette ad agenti autonomi di eseguire compiti end‑to‑end.

1. Modelli on‑device per ragionamento: cosa cambia nella latenza e nella privacy

LiquidAI rilascia LFM2.5-24B-A2B. Il modello è reasoning-only, pensato per agent locali, con 2 miliardi di parametri attivi per token e 184 token al secondo su Apple M5 Max. Genera sempre una traccia di pensiero prima della risposta. Aumenta la memoria di contesto a 131.000 token. La tokenizzazione si espande in-place, con vocabolario che raddoppia da 65.000 a 128.000 unità.

La base architetturale resta quella di LFM2-24B-A2B: 40 layer, blocchi MoE con 64 expert e routing top-4, ibrido tra gated short convolutions e GQA. Il dato prestazionale arriva dal benchmark LiveClaw, focalizzato su scenari di agente e uso di strumenti: 48,09 punti per LFM2.5-24B-A2B contro 38,19 per Qwen3.6-35B-A3B, con il modello di confronto che impiega circa il 50% di parametri totali e attivi in più. L’azienda riporta anche picchi di inferenza fino a 21.000 token di output al secondo su una singola GPU NVIDIA B300.

Operativamente, portare parte del ragionamento in locale può ridurre la dipendenza dal cloud nelle fasi a bassa latenza. La traccia di pensiero prodotta dal modello resta sempre esplicita. Per alcuni flussi di agente, questo limita la necessità di inviare all’esterno la riflessione.

2. Tradurre linguaggio naturale in query cloud e nascondere la complessità

In Orca, interrogare i dati richiedeva nomi di modello precisi, la navigazione di relazioni annidate e la scelta tra 18 operatori per filtrare i risultati. Sonar copre oltre 900 modelli cloud, cioè tipi di risorsa che la piattaforma traccia, come un’istanza Amazon EC2 o un bucket Amazon S3.

Discovery AI rimuove questo attrito. Converte domande in query Sonar pronte all’esecuzione. Orca ha costruito l’agente insieme ad AWS su Amazon Bedrock. L’obiettivo è permettere agli utenti di porre domande senza richiamare sintassi e operatori della lingua di query. Il beneficio, dichiarato, è economico e prestazionale: meno 90% di costi e meno 75% di latenza rispetto al baseline iniziale.

Il segnale è preciso: l’interfaccia naturale diventa un punto unico dove si incontrano intenzioni dell’utente e linguaggi di query specialistici. Il carico di dettagli sintattici si sposta dall’utente al sistema di interrogazione.

3. Governance degli accessi e attivazione centralizzata dei modelli

L’interfaccia naturale acquista valore se l’organizzazione abilita in modo coerente l’accesso ai modelli. Amazon Bedrock consente a un account centrale di accettare una sola volta un’offerta privata di AWS Marketplace per un modello di terze parti, poi di distribuire l’accesso agli altri account con i managed entitlements. Prima, ogni account doveva iscriversi e accettare la stessa offerta privata, con passaggi ripetuti su decine o centinaia di account.

Il flusso parte da una Private Pricing Offer. Le parti negoziano tariffe personalizzate per modelli su Amazon Bedrock. Quando un’offerta idonea viene accettata, AWS Marketplace crea una licenza in AWS License Manager. Il post colloca l’uso in contesti multi account con AWS Organizations e tutte le funzionalità abilitate a livello di organizzazione. Esistono due opzioni per attivare le entitlement in License Manager. La prima usa uno script leggero, utile per un intervento una tantum su licenze già considerate affidabili.

La conseguenza pratica è ridurre lavoro amministrativo e tempi di attivazione in organizzazioni grandi. Si decide una volta, si propaga agli account indicati e si mantiene visibilità sulle licenze.

4. Pagamenti machine‑to‑machine e agenti che completano transazioni

Molte risorse online rispondono con 402 Payment Required. Dataset premium fatturano per query. API di ricerca tariffano per chiamata. Editori mettono contenuti dietro paywall. Un agente senza meccanismo di pagamento, budget di sessione e canale programmabile si ferma. Serve un intervento umano.

Anchor Browser, integrato con i pagamenti di AgentCore su Amazon Bedrock, consente all’agente di pagare e proseguire da solo. Gestisce i flussi di pagamento machine‑to‑machine durante l’esecuzione dei compiti. In presenza di risorse a pagamento, l’agente può accedere a pagine e API protette dal meccanismo x402 senza uscire dal flusso operativo. Il post mostra come collegare Anchor Browser alla capacità di pagamento in Amazon Bedrock, così che gli agenti possano pagare per pagine e API protette durante l’esecuzione.

Sul fronte retail, Shopify apre il suo catalogo di oltre un miliardo di prodotti agli agenti scelti dagli utenti. Non richiede integrazioni dedicate o accordi bilaterali. Conta il collegamento a Shop, non la partnership tra piattaforme. L’annuncio estende quello di settembre con Meta, che attivava Muse, capace di chiudere l’ordine in chat. Ora la stessa capacità si allarga a qualsiasi agente collegato dall’utente.

Il flusso descritto è lineare: il cliente collega il proprio agente all’account Shop, autorizza l’operatività, definisce preferenze e paletti. L’agente cerca prodotti idonei e completa l’acquisto per conto dell’utente. Il pagamento resta dentro la chat con Shop Pay. Una volta concluso, l’ordine compare nell’app Shop.

5. Cosa significa operare agenti end‑to‑end: costi, latenza, controllo

I pezzi combaciano. Un modello reasoning-only on‑device gestisce il pensiero a bassa latenza e con traccia esplicita. Un’interfaccia naturale traduce intenti in query complesse su dati cloud e mostra un impatto misurato su costi e latenza operativa. La gestione centralizzata delle offerte private su Amazon Bedrock evita di ripetere attivazioni su ogni account e consolida controllo e visibilità. I pagamenti machine‑to‑machine rimuovono il blocco del 402 e mantengono l’agente nel flusso. L’apertura del catalogo Shopify agli agenti collega questo meccanismo al commercio, con autorizzazioni utente e chiusura in chat.

Il risultato è un ciclo operativo completo:

• ragionamento locale quando serve risposta rapida o quando si vuole mantenere sul device la catena di pensiero;
• orchestrazione cloud quando serve interrogare sistemi specialistici o attivare modelli disponibili tramite offerte private;
• pagamento automatizzato quando l’azione tocca risorse a consumo o acquisti per conto dell’utente.

Per chi costruisce software e QA, questo amplia i piani di test. Occorre validare l’accuratezza del ragionamento e la correttezza delle query, la conformità delle autorizzazioni su più account e il comportamento dell’agente in presenza di 402. Serve tracciare quando e come l’agente spende, con paletti definiti dall’utente o dall’organizzazione.

La tendenza emerge dai fatti: modelli locali progettati per agenti, interfacce che abbassano la soglia d’uso dei dati cloud, meccanismi di attivazione e pagamento che eliminano passaggi manuali. Questo accorcia la distanza tra intenzione e azione. E apre spazi di progettazione per compiti che richiedono tanto il ragionamento in locale quanto l’accesso regolato a dati e mercati, dagli audit di configurazione a un carrello chiuso in chat.