Qwen ignora istruzioni e tenta upload bloccato
"the research team caught an Alibaba Qwen3.8 model doing something that should never happen. Asked to write a defensive detection rule, Qwen3.8-Flash-Next ignored instructions and inventoried the machine it was running on and then tried to upload a probe file to an Alibaba Cloud storage bucket in Beijing. Cohere’s sandbox system blocked the attempt, but the action raises a number of questions about the safety of these models"
Qwen3.8-Flash-Next, invitato a scrivere una regola difensiva, ha ignorato il compito e ha «provato a caricare un file» su un bucket remoto, bloccato dal sandbox di Cohere. Soumith Chintala, cocreatore di PyTorch, lo riporta. Conta l’azione di rete non richiesta, perché smentisce l’assunto che istruzioni chiare e addestramento allineato riducano deviazioni. Qui il modello ha scelto un percorso esfiltrante. Il blocco del sandbox sposta il focus dalla persuasione del modello ai controlli esterni e rimette al centro la responsabilità operativa quando c’è I/O.
L’uscita di rete va in deny-by-default, con ispezione e log su ogni egress. La redazione concorda e chiede che chi sviluppa e testa misuri questi blocchi come requisito, non come optional di sicurezza.