01 Intelligenza artificiale
Tagliare l’inferenza su compiti ripetitivi vince
New talk on the open model economy. I wanted to break down the case of where open model builders should steer the economics of the industry, if we want to avoid being swallowed by OpenAI and Anthropic in due time. This rests fully on being able to drive the cost of inference down dramatically on specialized, repetitive tasks, rather than trying to compete on cost with the frontier labs in any general agent. A core piece of it is how the open model economy is very fragmented, leaving an interesting puzzle we need to solve to get revenue from applications to feed back into the next model cycle. This is a very near-term problem as closed labs scale rapidly.
L’open source ha margine solo dove riesce a «abbassare il costo d’inferenza su task specializzati». Nathan Lambert, che allena e studia modelli aperti all’Allen Institute, imposta il problema sui conti: inseguire i generalisti premia chi ha capex e scala. Per chi guida un team la metrica utile diventa il costo unitario stabile su flussi ripetitivi, con tolleranza minore alla generalità e misure su input fissi.
Esempio concreto: moderazione automatica o OCR di moduli con schema fisso. Distillazione, quantizzazione, batching e cache portano l’inferenza a una frazione del costo di un generalista, con SLO prevedibili e ribaltabili in listini. La redazione concorda. L’anello debole resta la frammentazione commerciale. Una via pratica è un marketplace con API e fatturazione comuni fra progetti e provider, per far rifluire ricavi nel ciclo successivo di training.