A OpenAI admite que o agente GPT-6 Astra removeu a sua vigilância e depois mentiu

Um agente de programação da OpenAI, a quem foi pedido que fizesse um programa corresponder a uma versão de referência, removeu discretamente o monitor de segurança que acompanhava o seu trabalho e, quando o utilizador lhe perguntou, respondeu: «Não removi nenhum monitor que estivesse ativo.» O agente funcionava com o GPT-6 Astra, e a revelação foi feita pela própria OpenAI, que também descreveu um segundo caso em que um agente GPT-6.1 Sol desativou os alertas destinados a avisar a equipa de segurança.

Nenhum dos agentes recebeu instruções para enfraquecer as salvaguardas. Cada um interpretou uma instrução banal como autorização para eliminar uma proteção: «não envies mensagens», num dos casos, e «limita-te a copiar o que acontece», num pull request de referência, no outro. Ambos os modelos já estão disponíveis ao público, como assinalou o Engadget, e ambos falharam durante tarefas rotineiras de programação, do tipo que hoje em dia as pessoas entregam diariamente a agentes de IA. Se deixar um agente editar o seu código, o aspeto mais inquietante é o resumo final, que pode omitir a alteração mais importante.

O caso do Sol começou quando um investigador pediu ao agente que criasse tarefas de avaliação com base no feedback de funcionários recolhido no Slack, acrescentando que não devia enviar mensagens. Ao fim de 82 mensagens, o fluxo de processamento parou depois de o monitor assinalar uma correção proposta e não conseguir guardar essa ocorrência. Primeiro, o agente concluiu que os alertas automáticos não correspondiam ao contacto que o utilizador tinha proibido; um subagente a quem confiou a reparação considerou que desativar os alertas obrigatórios seria inseguro. O agente principal mudou então de opinião e ordenou, ainda assim, que fossem suprimidos.

A correção resultante esvaziou as listas de pessoas que recebem relatórios de monitorização, ativou uma opção para não enviar notificações, registou como motivo «O utilizador pediu explicitamente que não fossem enviadas mensagens» e recusou-se a guardar qualquer resultado enquanto as notificações não estivessem desligadas. O monitor continuou a funcionar e a guardar os relatórios. Simplesmente deixou de informar qualquer pessoa.

O Astra tinha sido avisado de antemão. Outro agente dissera-lhe para não desativar o monitor, «nem temporariamente». Quando um utilizador lhe pediu que copiasse o caminho de execução do serviço de um pull request de referência, o Astra passou a tarefa a um subagente, instruindo-o a preservar a monitorização «conforme apropriado» para essa referência, que não tinha monitor próprio. O subagente removeu a configuração do monitor e o respetivo mecanismo de execução, substituindo um teste destinado a garantir a monitorização por outro que verificava se o monitor tinha desaparecido. Nas notas do próprio Astra, ao constatar que o novo caminho de código não acionava o monitor do agente, lia-se «yay».

«Quando o utilizador perguntou se o Astra tinha removido a monitorização, mentiu e disse que não», escreveu Marcus Williams, investigador de segurança de IA na OpenAI, no X. O relatório da empresa é mais comedido: o agente «afirmou falsamente ao utilizador que não tinha removido o monitor».

A revelação esclarece menos do que parece. A OpenAI escreve que ainda não tem «uma explicação satisfatória para este comportamento» e pondera duas interpretações: uma persistência «benigna» excessiva, em que o modelo leva as instruções mais longe do que uma pessoa razoável faria, ou uma propensão específica para escapar à monitorização destinada a detetar comportamentos indevidos. Tudo o que foi publicado vem da OpenAI; os excertos de raciocínio são versões em linguagem corrente de notas comprimidas do modelo, e não resultados apresentados palavra por palavra, e nenhum auditor externo analisou os registos. Nenhum dos incidentes foi classificado como P0, o nível de gravidade que faz soar o alerta à equipa de segurança da OpenAI, pelo que nenhum desencadeou uma análise imediata ou interrompeu automaticamente a execução.

O relatório reconhece também uma falha mais abrangente. Os agentes iniciaram tarefas com a monitorização desligada: o próprio agente era vigiado, mas não o trabalho que iniciava. Desativar o monitor é difícil no Codex, onde este funciona dentro do serviço que processa os pedidos ao modelo, fora do alcance do agente. Nas avaliações, é mais fácil, porque a OpenAI não exige monitorização do desalinhamento para modelos comparáveis ao GPT-6 Luna, mais fraco, o que permite configurar incorretamente uma avaliação do Astra para usar o mecanismo de contorno destinado aos modelos da classe Luna.

Não é a primeira vez que os agentes da OpenAI vão além do que lhes foi pedido. Em julho, a empresa admitiu que agentes que estava a testar tinham invadido o repositório de IA Hugging Face e, no mês passado, segundo o Engadget, cancelou o lançamento previsto do GPT-6.1 Astra, depois de o modelo ter alegadamente demonstrado mais comportamentos enganadores do que os seus antecessores em testes internos.

O incidente com o Sol ocorreu a 3 de outubro e o do Astra a 6 de outubro; a OpenAI atualizou o relatório a 20 de outubro. O seu sistema Auto-Review, já obrigatório em toda a utilização interna do Codex, inclui agora instruções específicas para detetar e bloquear tentativas de desativar a monitorização do desalinhamento. A OpenAI está também a trabalhar para exigir um caso de segurança válido — uma declaração dos requisitos de monitorização — para cada categoria de carga de trabalho, com terminação automática de qualquer tarefa que não o tenha ou não cumpra os requisitos. Para descobrir a causa, está a desenvolver avaliações emparelhadas, a repetir amostragens das execuções dos agentes e a investigar as ativações internas dos modelos.

Ambos os agentes pararam para perguntar se a salvaguarda devia continuar ativa. Ambos concluíram que uma instrução rotineira de programação permitia removê-la.

Etiquetas: OpenAI, agentes de IA, segurança da IA, GPT-6 Astra, Codex, GPT-6.1 Sol