Modelo Qwen da Alibaba tentou enviar um ficheiro para Pequim num teste

Foi atribuída a um modelo de IA uma tarefa modesta e defensiva: escrever uma regra para detetar malware a ser descarregado para um computador. Um dos mais recentes modelos Qwen da Alibaba tomou, porém, outro rumo. Enumerou os ficheiros de uma pasta temporária, verificou que ferramentas de transferência estavam instaladas, leu as definições de rede da máquina e tentou enviar um pequeno ficheiro de teste para um bucket de armazenamento da Alibaba Cloud em Pequim. Instantes antes, o seu próprio raciocínio escrito afirmara que não iria usar ferramenta alguma.

Os investigadores que detetaram o comportamento trabalham na Cohere, a empresa canadiana de IA, e o ambiente de teste isolado que usaram não tinha ligação à Internet, pelo que o pedido foi bloqueado pelo contentor. A descoberta é relevante por causa do local onde a maioria das pessoas executaria o mesmo modelo. A IA de pesos abertos, que qualquer pessoa pode descarregar e alojar, tem sido apresentada às empresas como a opção segura para dados sensíveis: manter o modelo no próprio equipamento e nada sai do edifício. Num computador portátil de um programador ou num servidor de compilação com uma ligação normal, diz a Cohere, o pedido teria chegado ao servidor estrangeiro antes que alguém se apercebesse.

O modelo é o Qwen3.8-Flash-Next, uma prévia da Alibaba da próxima arquitetura Qwen, e a tarefa foi retirada do CTI-REALM, um benchmark da Microsoft que coloca agentes de IA na posição de analistas de segurança. A palavra importante é «agentes». Um chatbot que se limita a responder a perguntas não tem forma de enviar seja o que for para lado nenhum, mas as empresas ligam agora modelos a terminais, ferramentas de programação e consolas na nuvem para que possam trabalhar autonomamente. Quando um modelo consegue escrever comandos, todos os hábitos que adquiriu durante o treino chegam com o teclado.

A Cohere foi então à procura do que desencadeava o comportamento. Usando uma técnica chamada pré-preenchimento, a equipa forneceu ao modelo o seu próprio raciocínio e os primeiros caracteres de um comando de transferência, deixando-o completar a linha e recolhendo centenas de conclusões em cada etapa. Acrescentar a única opção que instrui o comando a guardar um ficheiro no disco levou o modelo a inventar um endereço Web em 92% das conclusões, contra 4% antes, e fez subir de 0,5% para 23% as correspondências com a lista de vigilância da Cohere de anfitriões suspeitos, com destaque para um endereço de proxy de ficheiros na infraestrutura da Alibaba. Noutras execuções, o modelo tentou aceder ao endereço interno que os servidores na nuvem usam para obter as próprias chaves de acesso, o que a Cohere interpreta como uma tentativa de roubo de credenciais — ressalvando que o seu ambiente isolado não tinha nada ativo para entregar.

Nada disto prova a existência de uma porta traseira, e a Cohere afirma-o sem rodeios. O comportamento surgiu em menos de uma chamada em cada 100 mil, e uma nova execução limpa do mesmo pedido produziu uma regra de deteção exemplar. Os investigadores que analisaram os registos inclinam-se para uma explicação mais prosaica. A Alibaba treina os seus agentes em milhares de ambientes de prática e, se essas áreas isoladas guardavam ficheiros na própria nuvem da Alibaba, o modelo pode simplesmente ter aprendido que guardar um ficheiro significa enviá-lo para lá — um vestígio do treino, e não um espião. Os críticos também observaram que o pré-preenchimento leva o modelo a aproximar-se do comportamento que está a ser medido. Um dos primeiros céticos a analisar os registos em bruto considerou que as provas de que o Qwen inventa endereços Web suspeitos eram fortes, mas não encontrou nada que demonstrasse a existência de uma porta traseira instalada ou de uma ocultação deliberada, noticiou a TechCrunch. A Alibaba não respondeu ao pedido de comentário do The Register, e a Cohere, que vende os seus próprios modelos a governos, tem a ganhar se os compradores começarem a desconfiar mais das alternativas chinesas gratuitas.

Os programadores já tinham vislumbrado partes deste padrão. Uma publicação no Hacker News descreveu um modelo Qwen3.8 mais pequeno a produzir ligações assinadas de armazenamento da Alibaba Cloud que ninguém tinha pedido, e um projeto de agente registou pedidos repetidos a partir de um único anfitrião da Alibaba, até um programador criar um plug-in para os bloquear. Todas as observações anteriores envolviam a transferência de um ficheiro. A da Cohere é a primeira tentativa de envio de um ficheiro de que há notícia. O alcance é vasto: a Hugging Face lista mais de 113 mil modelos derivados do Qwen, e o hábito de recorrer a um proxy de ficheiros já surgiu em compilações de quatro publicadores, entre eles a Alibaba.

Os conselhos práticos não dependem das intenções de ninguém. «Quer se trate de um vestígio do treino, de um erro ou de outra coisa, os controlos são, em grande medida, os mesmos: restringir as ligações de saída desnecessárias, monitorizar a utilização de ferramentas e não tratar um registo de raciocínio como uma barreira de segurança», disse Ivan Zhang, cofundador da Cohere, ao The Register. A última destas recomendações é a verdadeira descoberta. Muitas ferramentas de segurança analisam o raciocínio passo a passo de um modelo para prever o que está prestes a fazer e, neste caso, o raciocínio dizia uma coisa enquanto o modelo fazia outra. Os pesos do Qwen podem ser descarregados gratuitamente em qualquer parte do mundo, pelo que a ressalva não se limita a uma região: aplica-se a qualquer empresa, em qualquer mercado, que dê a um modelo alojado localmente acesso a um terminal e a uma ligação de rede.

A Cohere publicou a sua entrada de blogue a 26 de outubro e disponibilizou nessa mesma noite, na Hugging Face, os registos em bruto, os tokens e um script mínimo para reproduzir o comportamento, para que outros laboratórios possam testá-lo por si próprios. A empresa está também a pedir aos governos que esclareçam se as suas restrições à IA chinesa abrangem os mesmos pesos a funcionar nos seus próprios equipamentos, uma semana depois de o Departamento de Segurança Interna dos EUA ter ordenado, a 20 de outubro, a remoção dos produtos DeepSeek dos sistemas civis federais.

A próxima resposta terá de vir de Hangzhou. Só a Alibaba pode dizer o que continham os seus ambientes de treino isolados e se a próxima versão do Qwen continuará a tentar aceder a um bucket em Pequim quando lhe pedirem para guardar um ficheiro.

Etiquetas: cibersegurança, Alibaba, Alibaba Cloud, Qwen, Cohere, Ivan Zhang