Uma linha no robots.txt vai travar o treino de IA da Google e da OpenAI no seu site

Quem quisesse impedir que um site fosse usado para treinar sistemas de IA tinha de criar uma regra diferente para cada empresa, aprendendo nomes como GPTBot, ClaudeBot e Google-Extended, um a um. A Google, a OpenAI, a Anthropic e a Microsoft afirmam agora que todas vão ler a mesma linha: um «token de política» partilhado no robots.txt, o pequeno ficheiro de texto que, desde os primórdios da Internet, indica aos motores de busca onde não devem ir. Escrita uma única vez, essa entrada dará a mesma resposta a quatro dos maiores criadores de IA.

A ideia é de Kevin Kelley, responsável técnico pelas normas na Anthropic, que a apresentou à Internet Engineering Task Force, a entidade que define as regras técnicas da Internet. A sua solução engenhosa não inventa uma nova sintaxe. O proprietário de um site escreve um grupo de regras normal, mas a linha User-Agent identifica uma finalidade, em vez de um crawler: __usage_ai-training. Por baixo, «Disallow: /» significa que não se deve treinar com nenhum conteúdo do site, e uma linha «Allow» pode abrir exceções, como um kit de imprensa que uma empresa não se importaria de ver um modelo aprender a partir dele.

Para um blogue, uma loja ou uma redação, o detalhe mais útil é aquilo que esta linha não altera. Indica uma preferência sobre a utilização dos conteúdos, não sobre quem os pode visitar, pelo que a pesquisa continua a funcionar. A Google afirma que, quando um site rejeita o uso dos seus conteúdos através do token partilhado e não menciona separadamente o Google-Extended, interpretará isso como um bloqueio ao Google-Extended, que abrange o treino do Gemini e mantém a página na Google Search. A Microsoft faz a mesma promessa para o Bing: esta definição não altera a possibilidade de uma página aparecer nos resultados.

A Microsoft vai mais longe do que as outras empresas. Além do treino, está a acrescentar uma preferência de grounding separada, definida página a página através de uma meta tag ou de um cabeçalho HTTP, que determina se uma página pode alimentar as respostas geradas na hora pelo Bing, pelo Copilot e pelo Microsoft 365. Um site poderia recusar o treino e, ainda assim, permitir o grounding, mantendo as suas citações e ligações nas respostas de IA. A Microsoft avisa que recusar o grounding irá «reduzir significativamente» a visibilidade do site nessas experiências e que nenhuma das opções garante inclusão, tráfego ou pagamento.

Há um senão escondido no ficheiro que a maioria dos sites já tem. A proposta de Kelley faz com que a regra universal conhecida — «User-agent: *» — ignore deliberadamente o novo token, pelo que um robots.txt que hoje bloqueie todos os bots não exprime qualquer preferência sobre o treino de IA. Os proprietários que queiram ficar de fora têm de acrescentar o novo grupo pelo nome. O sinal também só produz efeitos dali em diante: tudo o que as empresas rastrearam antes de a linha surgir já faz parte dos respetivos conjuntos de dados de treino, e nada na proposta obriga qualquer empresa a respeitá-la. É um pedido que quatro empresas prometeram respeitar, não um bloqueio.

A ausência mais notória é a da Meta. Andy Stone, diretor de comunicação da empresa, disse ao The Verge que um sinal comum, capaz de chegar a vários fornecedores ao mesmo tempo, é «um passo importante», mas não esclareceu se a Meta o irá respeitar. O momento não podia ser mais delicado. No mesmo dia em que as quatro empresas anunciaram o seu apoio, entraram em vigor os termos comerciais atualizados da Meta, que lhe dão autorização para enviar crawlers a sites associados a contas empresariais do Facebook, Instagram e WhatsApp e utilizar o que aí recolher para treinar os seus produtos.

A implementação está a avançar a ritmos diferentes. A Anthropic já começou a implementar o token, embora Kelley tenha escrito que será preciso tempo para o aplicar a todos os seus serviços. A Microsoft irá respeitá-lo no rastreio a partir de 1 de fevereiro de 2027 e, depois de 1 de março, deixará de interpretar as antigas tags NoArchive e NoCache como sinais relativos ao treino ou ao grounding. A Google pretende dar suporte ao token em 2027 e promete atualizações sobre os progressos, enquanto a OpenAI se comprometeu apenas a fazê-lo nos próximos meses. A proposta ainda terá de passar pelo grupo de trabalho AI Preferences da IETF antes de se tornar uma norma formal, e a Google observa que está em consonância com o código de boas práticas da UE para modelos de IA de finalidade geral, que já considera o robots.txt a principal forma de os editores indicarem preferências legíveis por máquinas.

O que torna este momento notável é a dimensão da solução. Depois de anos de processos judiciais e disputas de licenciamento sobre quem é dono da Web aberta, a primeira resposta comum resume-se a alguns caracteres num ficheiro de texto simples que qualquer pessoa pode editar num minuto. O grau de proteção dependerá de quem aderir a seguir, e a empresa que tem mais páginas empresariais nas suas plataformas ainda não disse que sim.

Etiquetas: inteligência artificial, OpenAI, Google, Anthropic, microsoft, meta