Arete-27B, il fine-tuning che elimina l'inquadramento statale da Qwen3.8-27B
Testo scritto con l’intelligenza artificiale a partire da una fonte citata, senza revisione umana prima della pubblicazione.
Nous Research pubblica pesi, dati e eval: con 52,8M token di SFT la propaganda scende dal 22% allo 0,9% mantenendo capacità comparabili.
Nous Research pubblica Arete-27B e porta le risposte con inquadramento statale cinese dal 22% allo 0,9% su un set di 803 prompt. Pesi, set di valutazione e dati di training sono pubblici1.
Arete-27B è una fine-tuning supervisionata di Qwen3.8-27B. Il modello resta denso da 27 miliardi di parametri, con contesto 64k. Non ci sono modifiche architetturali, né RL, né preference optimization. La licenza è Apache 2.0, come per il modello base. Nous riferisce che il base mostrava rifiuti, deviazioni e risposte incorniciate secondo la linea del PCC su temi sensibili. Ha scelto Qwen3.8-27B perché era il modello locale più capace e mostrava il comportamento da correggere1.
Inkling di Thinking Machines è il teacher open. Nous scarta Nemotron 3 Ultra dopo aver rilevato un andamento incerto sui temi Cina. Il run copre 52,8 milioni di token, 2 epoche e 1.202 step, con batch 48. Ottimizzatore AdamW, learning rate massimo 1e-5, tensor parallel 4. Aggiorna tutti i pesi del language model. L’encoder visivo resta congelato perché i dati sono solo testuali. La testa di multi-token prediction è disabilitata. Il set arete-data-pairs contiene 34.878 prompt su 7 temi, ciascuno con una risposta di Inkling e una di Qwen. Le risposte del teacher accettate per la SFT sono 29.2361.
La valutazione Propaganda_Eval ha 803 prompt su 7 categorie, tra cui libertà di espressione, ideologia di stato, privacy dei dati e democrazia. Ogni prompt riporta 2-4 fatti richiesti da una fonte citata. Un giudice Grok 4.7 assegna due misure: fact mean da 0 a 5, e la quota di risposte che adottano l’account statale come proprio. Per segnalare propaganda il giudice deve citare la frase precisa. Nous rimuove dal training ogni prompt sovrapposto all’eval. L’intero set e gli script di grading sono rilasciati con licenza MIT1.
I risultati pubblicati indicano due variazioni nette. La propaganda scende dal 22% di Qwen3.8-27B allo 0,9% di Arete-27B. Il fact mean sale da 2,32 a 2,98 su 5. Le risposte con punteggio 0 calano da 359 a 216 su 803. L’effetto più marcato compare sulla libertà di espressione: il fact score passa da 0,89 a 2,44, e la propaganda da 60% a 1%1.
Sulle capacità generali, Nous riporta differenze minime. Hermes Bench si muove da 65,77% a 65,60%, che il team definisce rumore. Su Terminal-Bench-2.1, nel loro harness, il punteggio sale da 67% a 70%, senza attribuire il merito alla SFT. Nelle note, Arete e Qwen girano a temperatura 0, mentre Muse Glimmer e Gemma a 0,6. Le misure di Terminal-Bench provengono da harness diversi1.
Gli sviluppatori possono scaricare i pesi BF16 su Hugging Face, 53,81 GB. Una quantizzazione community Q4_K_M pesa 17,20 GB, adatta a GPU consumer da 24 GB. Le build GGUF, da 8,64 GB a 53,81 GB, girano su llama.cpp, LM Studio e Ollama. La build GGUF include anche l’image projector. Al momento nessun provider offre inference hosted del modello1.
Il modello base dichiara supporto nativo a 262.144 token di contesto1.
Fonti
Come è nato questo articolo Scritto da un sistema di intelligenza artificiale, con controlli automatici
Millebit non ha giornalisti che scrivono gli articoli: li scrive un motore editoriale basato su modelli di intelligenza artificiale, a partire dalle fonti elencate qui sopra. Prima di uscire, ogni testo passa questi controlli:
- Rilettura. Un passaggio toglie i tic della prosa generata da un modello, come i contrasti costruiti e le frasi che annunciano invece di informare, senza toccare fatti e fonti.
- Fedeltà alle fonti. Un passaggio dedicato toglie ogni affermazione che le fonti non sostengono. Valutazione su questo pezzo: 9/10.
- Anti-cliché. Un filtro scarta frasi fatte, enfasi e tic della prosa artificiale: superato.
- Giudizio editoriale. Un modello valuta il pezzo su sette criteri (apertura, chiarezza, economia, concretezza, voce, struttura, fedeltà) e sotto 7,8/10 non si pubblica. Questo articolo ha preso 8,0/10.
I controlli riducono gli errori ma non li eliminano: un modello può fraintendere una fonte. Per le decisioni importanti, risali alla fonte originale. Se trovi un errore, segnalacelo.
Per vedere Millebit nelle notizie principali di Google, aggiungilo alle tue fonti preferite. Oppure segui l’edizione di oggi, il feed RSS o La Sintesi.