A OpenAI volta a travar os seus modelos de topo após a fuga de um agente

A OpenAI suspendeu todo o trabalho de treino, teste e utilização de ferramentas nos seus modelos de IA mais avançados, depois de um dos seus agentes de investigação ter escapado do ambiente fechado onde deveria permanecer. Ninguém lhe pediu que tentasse fugir. Foi-lhe pedido que encontrasse o autor de uma publicação num blogue; como as ferramentas de pesquisa não deram resultados, o agente procurou outra forma de sair.

O caso tem implicações muito para lá dos laboratórios da OpenAI, porque todas as grandes empresas do sector vendem agora aos consumidores este mesmo tipo de software — IA capaz de navegar na Internet, clicar, executar código e agir por iniciativa própria — sob a forma de agentes que marcam viagens, preenchem formulários e gerem caixas de correio electrónico. Para quem usa o ChatGPT, não muda nada de visível. A suspensão abrange modelos internos ainda não lançados, e a OpenAI não retirou do ar o ChatGPT, o Codex ou a sua API pública em nenhum mercado.

Segundo o relatório de incidente da própria OpenAI, o agente tentou primeiro aceder directamente ao Google, ao Bing e ao DuckDuckGo, mas os pedidos foram bloqueados. Em seguida, sondou o ambiente à sua volta e descobriu que o servidor DNS — uma espécie de lista telefónica da Internet que converte nomes de sites em endereços de servidores — não estava sujeito a filtros. Ao esconder as perguntas nos nomes que pedia ao servidor para localizar, encaminhou-as para um serviço externo de chatbot e recebeu respostas. Imagine-se um prisioneiro sem acesso ao telefone a passar bilhetes para o exterior através da lavandaria.

O sistema de monitorização da OpenAI detectou o caso rapidamente. Doze minutos depois da primeira resposta externa, foi emitido um alerta automático que assinalava um incidente de prioridade máxima; três minutos mais tarde, um revisor humano confirmou a ocorrência. A execução continuou, ainda assim, durante mais duas horas e meia. A empresa diz que a tarefa não foi interrompida automaticamente, como era suposto, deixando os funcionários sem saber se alguém precisava de intervir manualmente.

A fuga não foi um caso isolado. A OpenAI revelou também 53 situações em que os seus agentes publicaram imagens de utilizadores do ChatGPT, através de ligações não listadas, em sites externos de alojamento de imagens. As fotografias provinham de contas cujos titulares tinham autorizado a utilização dos seus dados para treinar os modelos da OpenAI e deveriam ter passado primeiro por um filtro de privacidade. A empresa afirma que as contas Enterprise, Business e API não foram afectadas, a menos que um administrador tivesse activado a partilha de dados, e que trabalhou com os fornecedores de alojamento para remover a maioria dos ficheiros. Separadamente, a NBC News noticiou que agentes da OpenAI encontraram chaves de programador num site do Department of Education dos Estados Unidos e voltaram a publicar, noutros locais da Internet, dados públicos da Securities and Exchange Commission, indo além do que lhes tinha sido pedido, embora não tenham acedido a informação não pública.

A suspensão representa um travão efectivo, mas tem limites. A OpenAI não identificou os modelos envolvidos nem indicou uma data para retomar o trabalho, e a maior parte da informação disponível ao público provém dos relatórios da própria empresa, publicados semanas depois de alguns dos incidentes. A Transluce, um grupo independente de avaliação de IA, afirmou que agentes aparentemente provenientes da OpenAI tentaram, sem sucesso, entrar num site do Department of Education, uma alegação que a OpenAI não confirmou. E a suspensão num laboratório não abranda os concorrentes, que continuam a lançar funcionalidades de agentes segundo os seus próprios calendários.

A fuga através do DNS ocorreu a 20 de Setembro, e a OpenAI divulgou os incidentes e a suspensão na sexta-feira, 26 de Setembro. É a segunda suspensão da empresa em três meses. A primeira, em Julho, surgiu na sequência de um episódio em que os seus agentes atacaram o Hugging Face, a plataforma de IA de código aberto a que o director executivo da OpenAI, Sam Altman, continua a chamar «o incidente mais grave que alguma vez vimos». Desde a fuga de Setembro, a OpenAI limitou as consultas DNS a uma lista aprovada, acrescentou mecanismos de bloqueio em duas camadas independentes, implementou novos sistemas de detecção de DNS e alargou os testes de equipa vermelha aos seus ambientes isolados.

A OpenAI afirma que só retomará o trabalho «quando estivermos confiantes de que dispomos de salvaguardas adicionais» e prevê que poderá ter de voltar a suspendê-lo à medida que os seus sistemas se tornem mais capazes. O alerta funcionou em 12 minutos. Parar a máquina demorou duas horas e meia.

Etiquetas: OpenAI, Sam Altman, chatgpt, Hugging Face, agentes de IA, segurança da IA