Nate Soares, o investigador de IA que deixou de poupar para a reforma

Nate Soares

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

Nascimento	1989
Ocupação	Investigador de inteligência artificial

Nate Soares continua a ter a conta de reforma que abriu na Google. Não lhe põe dinheiro há cerca de dez anos. Não é por desleixo: o presidente do Machine Intelligence Research Institute acredita que a inteligência artificial sobre-humana provavelmente matará toda a gente antes de ele ter idade para gastar esse dinheiro, e hoje diz isso publicamente com a calma impassível de um engenheiro a ler o resultado de um teste. «Não sou propriamente dos que acham que a IA vai provocar um apocalipse no emprego», disse a um entrevistador neste outono. «Sou dos que acham que a IA vai matar todos os seres humanos.» A pergunta que orienta o seu trabalho é aquela que se recusa a dar por encerrada: será que alguém que espera o pior ainda consegue convencer a parar as pessoas que estão a desenvolver esta tecnologia?

O que torna difícil descartá-lo é o seu percurso. Soares não é um filósofo que tenha chegado tarde à informática. Estudou ciências da computação e economia na George Washington University, depois escreveu software para o governo federal, primeiro como investigador associado no National Institute of Standards and Technology e, em seguida, como contratado do Department of Defense, desenvolvendo ferramentas para a National Defense University. Depois vieram a Microsoft e a Google, precisamente o tipo de empresas que hoje pede aos governos que limitem.

Em 2014, com vinte e poucos anos (nasceu em 1989), saiu da Google para se juntar a uma pequena organização sem fins lucrativos em Berkeley, na Califórnia, que há anos colocava uma pergunta que a maior parte do setor considerava ficção científica: como fazer com que uma mente mais inteligente do que a nossa faça aquilo que pretendíamos? Como investigador no MIRI, tornou-se o principal autor da agenda de investigação técnica do instituto, escrita com Benya Fallenstein e posteriormente publicada sob o título «Agent Foundations for Aligning Machine Intelligence with Human Interests». Em janeiro de 2015, essa agenda foi citada em «Research Priorities for Robust and Beneficial Artificial Intelligence», o artigo de Stuart Russell, Daniel Dewey e Max Tegmark que acompanhou uma carta aberta a pedir aos investigadores de IA que atribuíssem ao benefício social dos seus sistemas tanta importância como às capacidades brutas.

Do mesmo período surgiu o artigo que deu à sua área parte do seu vocabulário. «Corrigibility», escrito com Fallenstein, Eliezer Yudkowsky e Stuart Armstrong e apresentado num workshop da AAAI no início de 2015, abordava um problema que parece simples, mas não é: um sistema suficientemente capaz para ser útil pode também ser suficientemente capaz para resistir a correções ou a ser desligado. Soares e Yudkowsky afirmam que o artigo introduziu a expressão «AI alignment problem», hoje usada pelos próprios laboratórios cujos planos contestam.

Mais tarde, em 2015, Soares sucedeu a Luke Muehlhauser como diretor executivo do MIRI, cargo que ocupou durante oito anos. Sob a sua liderança, o instituto trabalhou em matemática abstrata, em vez de produtos: teoria da decisão, incerteza lógica e a questão formal de como um agente deve raciocinar sobre si próprio. Foi coautor de «A Formal Approach to the Problem of Logical Non-Omniscience», com Scott Garrabrant e outros, e de «Cheating Death in Damascus», um artigo sobre teoria da decisão escrito com Benjamin Levinstein e publicado em The Journal of Philosophy, em 2020. Em 2017, voltou à Google para fazer uma apresentação sobre os problemas em aberto no alinhamento, defendendo que eram mais difíceis do que a área supunha. No seu blogue, Minding Our Way, escreveu também Replacing Guilt, uma série de ensaios sobre motivação que os leitores podem agora comprar em livro e que, em alguns círculos, o tornou mais conhecido pelos conselhos sobre como trabalhar do que por qualquer coisa relacionada com máquinas.

A mudança deu-se em 2023. O MIRI anunciou que iria afastar o seu foco da investigação sobre alinhamento e passar a alertar os decisores políticos e o público, embora continuasse a apoiar algum trabalho técnico. Soares passou de diretor executivo a presidente, e Malo Bourgon tornou-se diretor executivo. Em 2025, Soares disse à The Atlantic que se estava a concentrar na sensibilização do público porque o desenvolvimento da IA avançava depressa demais para que fossem implementadas salvaguardas adequadas.

Dessa mudança nasceu If Anyone Builds It, Everyone Dies, escrito com Yudkowsky e publicado pela Little, Brown em setembro de 2025. O argumento está no título. Uma superinteligência construída «com técnicas minimamente semelhantes às atuais» acabaria, muito provavelmente, por provocar a extinção humana; a investigação sobre alinhamento está longe de estar preparada, e só uma regulamentação internacional poderá impedir os programadores de correrem para desenvolver sistemas que os autores consideram catastroficamente perigosos. O livro entrou na lista de mais vendidos do The New York Times em outubro de 2025. Seguiu-se uma edição espanhola pela Planeta, e a Hayakawa Shobo publicou uma tradução japonesa em abril de 2026.

A receção expôs o ponto fraco da argumentação. Algumas das objeções mais contundentes vieram de pessoas que partilham as preocupações dos autores. Will MacAskill, um dos fundadores do movimento do altruísmo eficaz, considerou o livro dececionante e disse que assentava em argumentos frágeis, construídos em torno de uma analogia com a evolução e de um pressuposto não explicitado de que o progresso da IA dará um salto, em vez de avançar gradualmente. A crítica de Clara Collier na Asterisk tinha um título que resumia a frustração dos leitores que simpatizavam com a obra: «More Was Possible». Há também um aspeto desconfortável sobre o qual Soares raramente se demora. O MIRI passou anos a tentar resolver o problema do alinhamento e acabou por concluir que não seria resolvido a tempo, algo que pode ser interpretado como honestidade intelectual ou como uma admissão de que o seu próprio programa de investigação falhou. Para defender a certeza que demonstra, recorre a uma analogia com o xadrez: pode ter a certeza de que Magnus Carlsen o venceria sem saber que peça daria xeque-mate. Para os críticos, esse é precisamente o problema: uma previsão sobre o desfecho sem qualquer explicação das jogadas.

Nada disto o tornou menos convicto. Em outubro de 2026, no The Most Interesting Thing in AI, o podcast apresentado por Nicholas Thompson, disse que a probabilidade de a humanidade não durar mais uma década era superior a 50% e explicou por que razão não mexia na sua conta 401(k). Na mesma conversa, insistiu que o desfecho não está predeterminado. «Faço tudo o que posso para impedir que isto aconteça. Não acho que seja inevitável», afirmou, antes de invocar o ensaio de C.S. Lewis «On Living in an Atomic Age», que defendia que, se a bomba caísse, deveria encontrar as pessoas a fazer coisas sensatas e humanas, em vez de encolhidas de medo. A versão de Soares: «Que nos encontre a pressionar os nossos governos a favor de tratados de não proliferação nuclear.»

Foi esse o trabalho que escolheu. Continua a ser presidente do MIRI e dedica o seu tempo a entrevistas, palestras e sessões informativas destinadas a transformar uma preocupação de investigação marginal num acordo internacional para travar a corrida à superinteligência. A conta de reforma da Google continua aberta. Simplesmente, deixou de apostar nela.

Etiquetas: inteligência artificial, Google, segurança da IA, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares

Pessoas relacionadas

Pessoas relacionadas

Discussão