Due comandi su GitHub scoprono quali modelli OpenRouter fanno chiamate a tool
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
model-radar verifica automaticamente i modelli gratuiti; model-canary monitora il modello a pagamento e scatta su fallback in caso di guasto o esaurimento crediti.
Molti modelli gratuiti su OpenRouter dichiarano il supporto ai tool, poi rispondono in sola prosa. model-radar li prova uno per uno e segna chi chiama davvero un tool1.
L’autore ha pubblicato due comandi, model-radar e model-canary. Il primo elenca i modelli gratuiti su OpenRouter e chiede a ogni nuovo ingresso di eseguire una chiamata a tool. Il secondo controlla il modello a pagamento usato dagli agent e il saldo crediti. Se qualcosa si rompe, passa a un’opzione più economica o locale. Nessuno dei due chiede opinioni ai modelli. Misurano e agiscono1.
Serve Python 3.11 o superiore. Non si installa nulla con pip. L’installazione prevede il clone del repository e la copia del file di configurazione: git clone https://github.com/casareanderson/model-radar.git && cd model-radar e poi cp config.example.toml config.toml. Help con ./bin/model-radar --help. L’autore indica un setup di circa dieci minuti e tiene una guida che gira ogni settimana su una macchina Ubuntu fresca1.
Prima di aggiungere una chiave, la guida chiede di verificare il comportamento senza credenziali. Si esegue ./bin/model-radar --dry-run e ./bin/model-canary --dry-run. Il primo indica per entrambe le sorgenti no credential, skipped e produce una baseline vuota. Il secondo stampa no OPENROUTER_API_KEY -- nothing to check ed esce con codice 1. Quell’exit 1 conta. Se il canary non può controllare nulla, un timer deve accorgersene1.
Con la chiave a posto si esporta l’API key: export OPENROUTER_API_KEY=sk-or-.... Poi si lancia di nuovo ./bin/model-radar --dry-run. L’output stampa una riga per modello: PASS, FAIL o BUSY. BUSY indica rate limit o timeout. Non è un verdetto, si ritenta al giro successivo. L’8 ottobre il test ha dato 4 PASS su 8 probe, due 403 e due BUSY. Un modello gratuito provato in precedenza rispondeva a ogni richiesta e non ha mai chiamato il tool1.
Si esegue una volta senza --dry-run per salvare una baseline. Da quel momento lo script sonda solo i modelli che non ha ancora visto1.
model-canary si aggancia al modello che usano i tuoi agent e alla fonte della spesa. Può leggere un file JSON o i profili hermes-agent. In config.toml si definisce una scala di fallback con modelli a pagamento e un modello locale. Si pianifica l’esecuzione ogni poche ore con cron. Due fallimenti duri di fila e il canary sale il gradino successivo. Timeout e 429 non contano come fallimenti. Il canary monitora anche il saldo crediti e scatta allo stesso modo quando si esauriscono1.
C’è un limite che la CI non può colmare. Le prove settimanali senza chiave coprono installazione, configurazione, help e comportamento no-key. Le sonde che esercitano davvero i tool e il failover del canary richiedono un account OpenRouter e una chiave valida. Il post rimanda alla guida completa: github.com/casareanderson/model-radar/blob/main/docs/SETUP.md1.
Il post su dev.to, firmato iam-tech, arriva da note, log e repository dell’homelab dell’autore, redatto con assistenza AI e poi rivisto a mano prima della pubblicazione1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Rilettura. Un passaggio toglie i tic della prosa generata da un modello, come i contrasti costruiti e le frasi che annunciano invece di informare, senza toccare fatti e fonti.
- Fedeltà alle fonti. Un passaggio dedicato toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 9,5/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 8,1/10.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.