Skill Inspector controlla e ripara le SKILL.md per agenti AI
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Tool open source con CLI e interfaccia web che valida, profila, stima i token e genera test per pacchetti in formato agentskills.io.
Un nome con doppio trattino, un helper mancante, un body da 9.000 token: te ne accorgi a runtime, quando l’agente si incarta. Skill Inspector prova a fermarli prima, lintea, profila e genera test per pacchetti di skill in formato agentskills.io, con CLI e interfaccia web1.
Lo strumento valida i file SKILL.md come farebbe ESLint con il codice. Applica regole della specifica agentskills.io e segnala violazioni con un rule ID e una severità, FAIL o WARN. Controlla formato e lunghezza del nome, campi obbligatori, limiti sulla descrizione. Avvisa se il corpo supera le soglie previste e se compaiono campi frontmatter sconosciuti1.
La verifica non si ferma al file. Con l’opzione --base-dir parte la risoluzione del pacchetto. Il tool percorre scripts, references e assets. Avvisa se un file referenziato non esiste o è vuoto. Blocca tentativi di path traversal con ../1.
La sezione token economics espone il conto in anticipo. Mostra il footprint del catalogo, il body di attivazione e il picco di contesto se l’agente legge ogni reference. Vedi subito il costo in token della skill e dove si concentra, senza metterla in produzione1.
C’è anche una valutazione qualitativa con LLM-as-a-Judge. Quattro punteggi da 0 a 100 misurano qualità della descrizione, chiarezza delle istruzioni, ambito e confini, efficienza dei token. Puoi eseguirla con OpenAI o Anthropic. Oppure con un modello locale via Ollama, così non serve alcuna chiave API1.
Per le riparazioni, il comando fix mostra un unified diff e applica correzioni deterministiche a frontmatter e naming. Un pass opzionale con LLM può rifattorizzare il testo delle istruzioni1.
Il generatore di test crea tra 10 e 16 scenari sintetici. Include percorsi felici, casi avversariali, fallimenti degli strumenti e confini di scope. Puoi esportarli in Pytest, JSON o Markdown. I casi limite finiscono in suite eseguibili1.
Il trajectory profiler legge una trace di esecuzione di un agente. Evidenzia letture ridondanti di file, loop di ricerca, rimbalzi di errore e bloat di contesto1.
Per l’uso con Claude Code c’è una modalità dedicata. Accetta frontmatter specifici e una lista in stile elenco degli allowed-tools1.
L’installazione della CLI passa da uno script curl: curl -sSL https://raw.githubusercontent.com/neo7337/skill_inspector/main/install/install.sh | bash I comandi chiave sono validate per i controlli statici, skill-inspector validate path/to/SKILL.md validate con --base-dir per l’audit completo e con --mode claude-code, skill-inspector validate path/to/SKILL.md --base-dir path/to/skill --mode claude-code fix per applicare correzioni, skill-inspector fix path/to/SKILL.md --dry-run skill-inspector fix path/to/SKILL.md --apply e generate-tests per scrivere le suite: skill-inspector generate-tests path/to/SKILL.md --format pytest --output tests/test_skill.py Chi preferisce una UI può clonare il repository, eseguire make install && make dev, quindi aprire http://localhost:5173. È disponibile anche docker compose up -d1.
Il progetto è su GitHub, è in versione v0.0.8 e usa licenza MIT. L’autore chiede feedback, stelle, issue e pull request1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Rilettura. Un passaggio toglie i tic della prosa generata da un modello, come i contrasti costruiti e le frasi che annunciano invece di informare, senza toccare fatti e fonti.
- Fedeltà alle fonti. Un passaggio dedicato toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 10/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 8,7/10.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.