Gli agenti vanno misurati sul throughput del team, non sul risparmio del singolo. François Chollet, che Keras lo ha scritto e che sul rigore della valutazione insiste da anni, ricorda l’ovvio che spesso si ignora: «le chat isolate sono subottimali». Il punto non è il bot privato brillante, è il costo di riallineare decisioni e stile quando l’agente non vede repository, ADR e issue.

Se volete provarli sul serio, fissate una baseline e misurate. Tempo medio di review per pull request, minuti spesi a rielaborare patch, numero di commenti che chiedono riallineamento agli ADR. Due iterazioni senza agente e due con agente integrato al contesto danno un confronto onesto. La redazione concorda su ROI e contesto. Il pitch su Kylon resta un esempio: l’idea sta in piedi anche altrove, ma richiede controllo accessi e tracciabilità per verificare il saldo tempo speso contro risparmiato.

Nathan Lambert, ricercatore all’Allen Institute che segue modelli aperti e post training, mette in chiaro il bias di misurazione che ha escluso GGUF, AWQ e ONNX trattandoli come un arrotondamento. Dice che la pipeline di tracciamento ora li include e che «ora stanno crescendo». L’autore non fornisce numeri, quindi il punto verificabile è la correzione metodologica e l’esplicita estensione del perimetro di osservazione.

Questo sposta decisioni di architettura: l’esecuzione in locale su laptop, in periferia e in sede rientra nei vincoli di default perché impatta costo per chiamata, privacy e latenza. La redazione raccomanda ai team MLOps di promuovere GGUF, AWQ e ONNX a formati di prima classe nella toolchain, così che build, deploy e misurazioni includano il locale in modo strutturale. Questa integrazione muove il P99 e il budget in modo abbastanza netto da giustificare il lavoro subito.

Il vero danno è l’attrito operativo che segue a un episodio così. Quando un’azienda teme fughe di informazioni, ogni varco si restringe: accessi a dati e sale sensibili richiedono motivazioni puntuali, le revisioni di sicurezza diventano uno step in più e le finestre degli esperimenti A/B si allungano. Gergely Orosz lo legge come segnale culturale e chiude con «complimenti per aver reso l’azienda più sospettosa». Qui parliamo di un ingegnere con accesso e fiducia elevati, quindi l’onda lunga sui processi è credibile.

Per la redazione ha ragione sul danno collettivo. Sicurezza e legale escono più forti, con più leva su processi e strumenti, e il costo lo pagano sviluppo e QA che vedono debug e sperimentazione rallentare. Il dettaglio retributivo è rumore che distrae dalla falla organizzativa, non aggiunge sostanza alla lettura dei fatti.