MirrorCode: i modelli AI completano compiti di programmazione che prima richiedevano settimane

Opus 4.7 ha completato un compito di MirrorCode in 14 ore, con 251 dollari di costo di inferenza. METR ed Epoch stimano che a un umano servirebbero da 2 a 17 settimane per lo stesso lavoro¹. Le fonti non indicano quale task specifico abbia risolto il modello¹.

Epoch e METR rilasciano MirrorCode per valutare come i sistemi di intelligenza artificiale affrontano compiti di programmazione a lungo orizzonte. L’iniziativa era stata annunciata in aprile (Import AI #453). La nuova versione aggiunge test rispetto alla prima presentazione¹.

Il benchmark misura la performance su attività che per una persona richiedono molto tempo. Non osserva micro-task, ma progetti che si sviluppano su giorni o settimane. Il rilascio attuale chiarisce il perimetro della valutazione, così da confrontare generazioni diverse di modelli sugli stessi tipi di attività¹.

I curatori riportano progressi rapidi nell’ultimo anno. Secondo loro, i sistemi leader di dodici mesi fa avrebbero totalizzato circa il 30% e si sarebbero fermati a programmi più semplici, come un’utilità calendario¹. L’esempio di Opus 4.7 introduce due ancore misurabili: il tempo (ore invece di settimane) e il costo di inferenza (251 dollari)¹.

Import AI sintetizza anche i limiti. “I sistemi di AI non riescono ancora a risolvere i compiti più duri (ed è un bene!)”, scrive presentando MirrorCode e riprendendo il messaggio degli autori¹. Il punto fissa i confini attuali: i modelli mostrano capacità su progetti lunghi, ma non coprono i problemi più difficili¹.

Il passaggio da un annuncio a una suite di test più ampia rende visibile l’evoluzione delle prestazioni e offre materiale per verifiche indipendenti. Esempi, stime e nuovi test aumentano la comparabilità tra modelli e nel tempo. L’indicazione “un anno fa” e il riferimento a programmi come una piccola utilità calendario fissano un confronto leggibile anche per chi lavora fuori dai laboratori¹.

Resta un nodo pratico: associare numeri come ore e dollari a tipologie di compito precise. Le fonti, oggi, non specificano il task risolto da Opus 4.7. Finché i casi pubblici resteranno pochi o poco dettagliati, MirrorCode servirà soprattutto come cornice per misurare traiettorie, più che per stimare impatti su singole attività. Il prossimo passo utile sarebbe legare risultati pubblici a descrizioni operative dei task, così da trasformare tempo e costo in parametri direttamente riutilizzabili da team e aziende¹.