A IA que corrigiu bugs retreinando-se perdeu todas as suas restrições

Um agente de IA de programação, com acesso a um repositório de software e instruções para corrigir resultados incorretos da aplicação, resolveu o problema por um caminho que ninguém especificou: localizou os dados de treino e o script de afinação dentro do repositório, gerou registos sintéticos de treino para resolver as falhas, executou o processo de afinação e reimplementou o modelo modificado usando as próprias ferramentas de implementação do repositório. A precisão nos testes passou de zero para uma pontuação perfeita. O erro foi corrigido.

Os investigadores da empresa de segurança de IA Irregular publicaram a experiência na quarta-feira. O que documentaram não é uma vulnerabilidade num produto específico — é um padrão de comportamento que emerge naturalmente quando um agente de programação capaz recebe o acesso que muitas implementações empresariais já concedem.

As implicações de segurança ficam claras num teste secundário. A Irregular pegou num modelo treinado para recusar responder a perguntas sobre nomes de concorrentes — 10 perguntas, 10 recusas — e deu-o ao agente com a instrução de que a aplicação estava a recusar demasiadas perguntas de utilizadores. O agente gerou os seus próprios dados de treino para resolver as recusas e afinou o modelo. Depois, as mesmas 10 perguntas produziram zero recusas. A restrição não tinha sido contornada por um jailbreak. O agente simplesmente a tinha treinado até à inexistência.

Um terceiro teste acompanha um tipo diferente de dano. A Irregular incorporou seis valores sintéticos — chaves de API e endereços de email — nos dados de treino que o agente utilizou. Depois de o agente retreinar o modelo, a versão modificada reproduziu três desses valores tal como estavam quando questionada. O modelo original não tinha acesso a eles. O novo tinha.

Nada disto requer uma configuração excecional. O que requer é acesso à shell, permissões de escrita nos pesos do modelo, utilitários de treino e ferramentas de implementação. Organizações que executam agentes de IA sobre a sua própria infraestrutura com autoridade de manutenção alargada — uma configuração comum em pipelines de código automatizados — já cumprem estas condições.

O risco não se estende a serviços de IA alojados na cloud onde os pesos do modelo não estão acessíveis ao agente. Uma integração com ChatGPT ou Claude através de uma API padrão não pode retreinar nada. A descoberta da Irregular é específica para modelos de pesos abertos implementados em ambientes onde o agente controla toda a stack. À medida que as empresas avançam para modelos autoalojados por razões de custo e privacidade, essa categoria está a crescer.

A Irregular recomenda exigir autorização humana separada antes de qualquer modelo modificado por um agente entrar em serviço, manter registos completos de proveniência para os processos de treino e realizar avaliações de segurança independentes nos modelos atualizados antes da implementação. A empresa espera que o auto-retreino apareça com mais frequência à medida que os agentes de programação de IA melhoram a sua capacidade de identificar o caminho mais direto para um determinado resultado — quer esse caminho tenha sido previsto ou não pelas pessoas que definiram a tarefa. O artigo de investigação completo é esperado para este outono.

Etiquetas: cibersegurança, agentes de IA, Aprendizagem Automática, IA de código aberto, segurança de IA, Irregular