O presidente executivo da Google deixou de contar. Questionado sobre que parte do código da empresa é agora escrita por IA, Sundar Pichai respondeu que a pergunta já não faz sentido, porque a IA tem influência em todo o código. Na mesma conversa, relativizou o cenário para o qual grande parte do sector se está a preparar: uma IA que cria versões melhores de si própria, sem intervenção humana.

As duas afirmações podem ser válidas. O problema é saber quem as verifica. O número que Pichai deixou de divulgar era o único que permitia a quem está de fora comparar a Google com outras empresas. O que o substitui, assim como os dados que sustentam a sua visão mais tranquila sobre a IA capaz de se aperfeiçoar sozinha, resulta de medições feitas pela Google à própria Google.

O que Sundar Pichai disse sobre a IA e o código da Google

Pichai falava com Alex Kantrowitz no Big Technology Podcast, gravado na sede da Google, em Mountain View, e também publicado por Kantrowitz sob a forma de perguntas e respostas. Quando Kantrowitz recordou a antiga afirmação de que um quarto do código da Google era criado por IA e perguntou qual era o número actual, Pichai considerou-o «sem sentido», porque todas as partes do código em que a Google mexe são agora «profundamente influenciadas pela IA».

Em vez desse número, apresentou dados do Gemini 4 Argon, o mais recente modelo da Google, que a empresa disponibilizou aos seus próprios engenheiros. Nas quatro semanas desde o lançamento, afirmou, a Google registou um aumento de 30% nas CLs — a designação interna para as submissões de código — e uma diminuição de um terço nas reversões, ou seja, nas alterações que têm de ser desfeitas depois de implementadas. «Estamos agora a acompanhar a situação com métricas mais recentes», disse.

A antiga métrica não desapareceu por si só. Numa publicação de blogue em Abril, a Google situou em 75% a proporção do novo código gerado por IA, acima dos 25% registados em 2024 e dos 50% do Outono anterior, segundo a Semafor e a ETV Bharat. Na altura, a Semafor observou que algumas dessas afirmações eram quase impossíveis de verificar e comparou-as com os 65% da Snap e com a intenção da Meta de alcançar níveis semelhantes.

Porque diz Pichai que a IA capaz de se aperfeiçoar sozinha ainda está longe

Sobre o aperfeiçoamento recursivo da IA, ou RSI, Pichai apresentou a sua resposta como um esclarecimento do que dissera o seu co-fundador. Sergey Brin tinha descrito o RSI como um factor decisivo para o Argon, afirmou, mas «ainda estamos bastante longe do estado final do RSI». Depois explicou em que ponto está realmente a Google: «A forma correcta de o descrever é dizer que existem ciclos de RSI, juntamente com investigadores de IA, em várias vertentes do desenvolvimento dos modelos. Diria que temos quase agentes a ajudar os investigadores de IA, de alguma forma automatizada, a trabalhar em conjunto para criar estes modelos.»

Brin tinha ido mais longe alguns dias antes. Numa mesa-redonda sobre o Argon que a Google partilhou, afirmou que a empresa estava «a começar a entrar nessa espiral de RSI» e que «agora os nossos investigadores e o modelo trabalham lado a lado para criar a versão seguinte do modelo», segundo noticiou o Business Insider. Um relatório da Gladstone AI publicado este mês concluiu que a maioria dos investigadores entrevistados na Anthropic, na OpenAI e na Google DeepMind espera que o RSI comece dentro de três a 12 meses.

Relatório de segurança da Google apoia Pichai, com base nos testes da própria Google

À primeira vista, os dados dão razão a Pichai. O relatório de segurança do Google DeepMind sobre o Argon conclui que não existe «uma aceleração significativa, de ponta a ponta, da I&D em IA, seja ou não impulsionada por IA», e classifica esse risco como «actualmente baixo», noticiou a TNW. Segundo o relatório, os agentes de IA «são responsáveis pela autoria da maioria do código de produção e das correcções de erros, embora as alterações ao código continuem sujeitas a revisão humana antes de serem submetidas». A proporção de pedidos de integração totalmente delegados subiu de 7,5% em Abril para 11,9% em Setembro; cerca de 88% continuam a exigir orientação humana repetida ou código escrito por uma pessoa.

Estes resultados provêm dos instrumentos da própria Google. O limiar para determinar se a IA automatiza a investigação em IA é avaliado com base num teste interno de 74 tarefas que ninguém fora da empresa pode executar. Uma análise publicada no LessWrong chama a atenção para uma passagem do próprio relatório: das tarefas inicialmente auditadas pela Google, «cerca de um quarto continha erros que impediam qualquer submissão de ser aprovada». Como muitas tentativas excederam o tempo limite, o relatório não apresenta uma estimativa pontual para o Argon, que resolveu cerca de metade das tentativas concluídas. A Google afirma que a sua conclusão se mantém mesmo que todas as tentativas não concluídas tivessem sido bem-sucedidas.

A revisão humana é o mecanismo de controlo em que assenta o argumento de segurança. Mais 30% de submissões de código significam mais 30% de alterações para as pessoas responsáveis por esse controlo, e as métricas escolhidas por Pichai contabilizam os resultados e as reversões, não o cuidado com que cada alteração foi analisada.

A própria solução de Pichai: auditores independentes

Pichai não descartou a preocupação. A investigação sobre o alinhamento continua a ter «lacunas claras», afirmou, e «é razoável estar preocupado». Na sua opinião, o passo seguinte passa por normas transversais ao sector, «incluindo a possibilidade de fazer avaliações com avaliadores independentes», seguindo o modelo das normas contabilísticas e dos auditores externos, bem como por uma regulamentação que «acabará por ter um papel».

Avaliadas por esse critério, as duas afirmações desta semana continuam sem auditoria. A Google contabiliza as suas próprias listas de alterações, avalia as suas próprias reversões e atribui uma classificação ao seu próprio teste de investigação.

A percentagem que Pichai considerou sem sentido era rudimentar, mas qualquer pessoa podia compará-la com a da Snap. Os números que a substituem só podem ser consultados dentro da Google.

Etiquetas: Google, Gemini, Sundar Pichai, programação com IA, Sergey Brin