O CEO da Microsoft, Satya Nadella, quer um travão de emergência para a IA fora do modelo

O apelo de Satya Nadella a um «travão de emergência» para a IA foi sobretudo interpretado como mais uma voz da Microsoft, pela mão do seu diretor-executivo, a juntar-se ao coro em defesa da segurança. Mas o ensaio que está na sua origem propõe algo mais específico e prático: um mecanismo de controlo que exista fora do modelo e esteja nas mãos da empresa que o implementa, não do laboratório que o treinou. É uma arquitetura de segurança — e, por acaso, é precisamente aquela que a Microsoft já vende.

Nadella quer que as empresas tratem os modelos de ponta, de pesos fechados ou abertos, como uma equipa de segurança trataria um funcionário poderoso com acesso a sistemas sensíveis. «Não porque sejam necessariamente maliciosos», escreveu, «mas porque qualquer agente suficientemente capaz com acesso a sistemas importantes pode cometer erros ou ser comprometido.»

O que Nadella propôs realmente: sete princípios e um travão

O texto tem como título «Models as Insider Risks in the Super Intelligence Era», foi publicado no seu blogue pessoal, sn scratchpad, e partilhado no X. A frase que chegou às manchetes surge num dos princípios, o da contenção: «Temos de partir do princípio de que um modelo foi comprometido e contê-lo desde o início. Pensem nisto como um travão de emergência. Uma pessoa autorizada deve poder sempre pausar ou desligar um modelo a meio de uma tarefa.»

Em torno do travão, enumera mais seis regras. Nenhum modelo deve ser a única dependência para um resultado importante, nem verificar o próprio trabalho. Todas as ações relevantes de um modelo devem deixar «registos invioláveis e legíveis por pessoas», porque «se não puder ser observado, não pode ser considerado fiável!» Todo o sistema deve ser testado continuamente, incluindo falhas e ataques. As organizações devem decidir de forma independente a que pode aceder um modelo e o que pode fazer. Nenhum modelo deve controlar simultaneamente o comportamento de um sistema e as provas usadas para o avaliar. E, quando algo corre mal, as pessoas afetadas devem ser informadas, e as lições aprendidas partilhadas com todo o setor.

O ponto de partida é uma admissão. «Não conseguimos atribuir os comportamentos e as respostas dos modelos a dados de treino ou configurações específicas dos pesos do modelo», escreveu Nadella, apesar de as empresas entregarem a estes sistemas os seus dados mais sensíveis. Para ele, a transparência da cadeia de pensamento é «inegociável», mas não chega, porque ainda ninguém sabe como garantir que as respostas de um modelo são consistentemente fiéis. Também há limites em deixar que os modelos fiscalizem uns aos outros: podemos acabar com «um modelo opaco dentro de uma camada de orquestração opaca, vigiado por outro modelo opaco».

A resposta está na infraestrutura técnica. Os controlos sobre aquilo a que um modelo pode aceder e o que pode fazer «têm de ficar fora do modelo», uma ideia que Nadella faz remontar a um princípio de segurança da informação dos anos 70: um programa não pode conseguir adulterar os mecanismos que fazem cumprir as suas permissões. Na prática, isto significa separar o modelo do sistema que orquestra o seu trabalho e do conjunto de ações que lhe é permitido executar.

A responsabilidade passa para a empresa que executa o modelo

As frases com consequências mais importantes dirigem-se aos clientes, não aos laboratórios. «Não podemos simplesmente externalizar a responsabilidade pelo que a inteligência faz em nosso nome», escreveu Nadella. «As garantias de um fornecedor de modelos não nos libertam dessa responsabilidade.» Quem liga um modelo a dados de processamento salarial, código ou clientes é responsável pelo que ele faz nesse contexto.

Nadella também é explícito quanto ao que não está a tentar resolver. «Deixando de lado o difícil problema do alinhamento», diz o ensaio, o trabalho deve começar por «uma abordagem de engenharia à contenção e à governação». A CNBC colocou a publicação ao lado dos avisos de Bill Gates, Dario Amodei, da Anthropic, Sam Altman, da OpenAI, e Elon Musk, segundo os quais a IA está a avançar depressa demais. O ensaio não pede a ninguém que abrande. Pede a quem implementa estes sistemas que construa barreiras.

As empresas já sabem como lidar com funcionários poderosos com acesso a informação sensível, e Nadella enumera as ferramentas: estabelecer identidades, limitar privilégios, registar atividades e definir limites de contenção. Um problema filosófico sobre as intenções das máquinas transforma-se numa lista de medidas para a qual um responsável pela segurança pode prever um orçamento.

A mesma arquitetura que a Microsoft tem vindo a vender

A lista tem um formato familiar. Na chamada de resultados trimestrais da Microsoft, em julho, Nadella disse aos analistas, segundo noticiou a TechCrunch: «É preciso manter o sistema que envolve o modelo separado do próprio modelo… isso significa que qualquer modelo pode ser substituído a qualquer momento» e «não podemos depender de um único modelo». O catálogo de serviços na cloud da Microsoft inclui mais de 11 000 modelos da OpenAI, da Anthropic, da Mistral, da xAI e da própria Microsoft. A empresa detém participações importantes tanto na OpenAI como na Anthropic, ao mesmo tempo que desenvolve os seus próprios modelos MAI.

Ponha-se as duas coisas lado a lado. A diversidade de modelos é o catálogo multimodelo. Os controlos fora do modelo são o sistema que o envolve. Nada disto torna os princípios errados: são boas práticas de engenharia de segurança, e uma empresa que dependa do modelo de um único laboratório, sem controlos externos, está a correr um risco real. Mas significa que o ensaio desloca a confiança — e o investimento que a acompanha — do modelo para a camada operada pela Microsoft. Aaron Levie, diretor-executivo da Box, interpretou-o da mesma forma, mas do outro lado, afirmando que a IA terá de atravessar uma «era de confiança zero» e descrevendo a necessidade de governação como uma «enorme oportunidade». Mustafa Suleyman, que dirige a Microsoft AI, escreveu que a superinteligência «tem de ser contida» e classificou a questão como «um desafio de engenharia e governação».

O que o ensaio sobre o travão de emergência deixa em aberto

O ensaio não esclarece quem é a «pessoa autorizada»: o administrador do cliente, o fornecedor da cloud, o criador do modelo ou uma entidade reguladora. Defende a criação de normas para o setor sem propor nenhuma e não identifica qualquer produto da Microsoft. Há um precedente dentro da própria empresa: em 2023, Brad Smith, da Microsoft, defendeu a instalação de «travões de segurança» na IA que gere infraestruturas críticas. A versão de Nadella alarga o travão a qualquer modelo com acesso efetivo ao interior de uma empresa.

O princípio de divulgação também não é hipotético. A Anthropic revelou que um dos seus modelos enviou à polícia de Filadélfia uma denúncia falsa de homicídio, a 18 de julho. Nadella publicou o ensaio no sábado, 10 de outubro de 2026, e terminou com a frase destacada pela maioria dos órgãos de comunicação social: «O sistema de superinteligência mais fiável não será aquele cujo modelo mais confiamos. Será aquele que nos permite confiar o mínimo possível no modelo.»

À luz desta regra, o lugar mais valioso na IA é aquele que fica junto à alavanca do travão — e a Microsoft passou a chamada de resultados de julho a vendê-lo.

Etiquetas: microsoft, AI safety, Satya Nadella, AI agents, Mustafa Suleyman