Se i test degli agenti fanno schifo, mancano linee guida
5 months and many experiments later, this was totally a case of “skill issue” on my part 😅 Like with code, agents don’t magically write great tests If your unit tests are slop (as mine were), that’s because you don’t have proper testing guidelines for your agents (as I didn’t)
Trattare i test degli agenti come contratti verificabili. Cindy Sridharan, che ha costruito pratica su sistemi distribuiti e affidabilità, lo dice chiaro: «mancano linee guida». Senza criteri espliciti, il modello ottimizza per segnali di feedback instabili, si ancora a pattern superficiali del prompt e produce esiti incoerenti. Un cambio minimo di formulazione può far passare o fallire la stessa soluzione. Il problema non è capacità generativa, è assenza di specifica verificabile.
La mossa utile è una rubrica con oracolo netto. Esempio: per un agente che genera migrazioni SQL, il test accetta solo output che applica lo schema richiesto e resta idempotente su due esecuzioni, con tolleranza sui tempi ma nessuna differenza di schema tra run. Questo allinea il team, rende ripetibili le verifiche e toglie alibi al modello. Giudizio della redazione: pieno accordo.