OpenAI declara a era da AGI. O benchmark citado aponta 37 pontos abaixo

Jensen Huang publicou no X uma frase e uma congratulação: “Do ChatGPT ao o1 e à Astra em 4 anos, a AGI chegou. Parabéns à equipa @OpenAI.” Enviou-o a 6 de setembro. Três dias antes, Greg Brockman, presidente da OpenAI, tinha usado um enquadramento quase idêntico junto da imprensa: “Bem-vindos à era da AGI.” As declarações surgiram próximas, de dois homens com interesses complementares, e foram recebidas em grande parte como confirmação.

O benchmark subjacente à afirmação era o ARC-AGI-3. A OpenAI afirmou que a Astra, o seu novo modelo de fronteira lançado sob a designação GPT-6, obteve 99,9% no ARC-AGI-3 e 98% no FrontierMath Tier 4. Pontuações a esse nível, em condições padrão, representariam uma verdadeira descontinuidade — um modelo que não só tem um bom desempenho como chega a um território que benchmarks anteriores tratavam como aspiracional. A organização que construiu o ARC-AGI-3 publicou uma pontuação a partir do seu harness de avaliação padrão: 62,7%.

Trinta e sete pontos percentuais separam estes dois números. Ambos vêm de avaliações reais. O harness interno da OpenAI e o harness de referência dos criadores do benchmark não são o mesmo protocolo, e o mesmo modelo produz pontuações diferentes em cada um. O que a organização do ARC-AGI-3 usa como condição de referência — a que considera válida para comparar modelos na área — produziu 62,7%. A configuração interna da OpenAI produziu 99,9%. A diferença entre estes números é a diferença entre um resultado forte de benchmark e uma declaração de chegada.

A venda de chips por trás da congratulação pela AGI

A Astra foi treinada em chips NVIDIA. Huang vende chips NVIDIA. Quando um CEO felicita publicamente um cliente por ultrapassar um limiar histórico — um limiar que torna o hardware usado para construir esse produto a infraestrutura definidora do que se segue — o anúncio é, estruturalmente, uma afirmação comercial. Não uma conspiração. Uma realidade estrutural: o conflito de interesses era visível, o enquadramento era sobre a chegada e não sobre o desempenho, e a maior parte da cobertura recebeu ambos sem comentário.

O mercado de chips para infraestrutura de IA move-se com narrativa. Se a Astra é AGI, então o que treinou a Astra torna-se o hardware do mundo pós-AGI — e as empresas que compram chips para a próxima ronda de treino estarão a comprar em direção a esse benchmark. As congratulações de Huang foram, nesse sentido específico, também uma declaração de produto. A declaração dependia de um número que a própria organização do benchmark mediu de forma diferente.

O que a verificação independente mostra — e o que não mostra

À data de publicação, a Astra não aparece no Artificial Analysis Intelligence Index nem nos rankings da Arena.ai — os dois sistemas de avaliação independente mais seguidos para modelos de fronteira. A verificação independente para lançamentos importantes de fronteira chega normalmente em dias. A ausência aqui não é evidência de mau desempenho. Significa que a validação externa que normalmente acompanharia uma afirmação desta magnitude ainda não se materializou.

Os 62,7% dos criadores do benchmark não são uma refutação. Uma pontuação a esse nível no ARC-AGI-3 — um teste concebido para resistir aos truques de otimização que inflacionaram benchmarks anteriores — é genuinamente forte. Os antecessores do ARC-AGI-3 estavam saturados: os modelos absorviam dados de treino semelhantes às perguntas do teste e aumentavam os números sem melhorar no raciocínio novo. O ARC-AGI-3 alterou a conceção das perguntas para exigir abstração em vez de recuperação de padrões. 62,7% nesse teste, sob o harness de referência, está muito acima de tudo o que existia há dois anos.

Os investigadores que levantaram objeções foram precisos quanto a isto. A capacidade do modelo não era o seu alvo. O salto do desempenho para a declaração é que era. “Pontua bem nestes benchmarks” e “a AGI chegou” requerem um passo intermédio: uma definição estável e acordada de AGI contra a qual a chegada possa ser medida. Não existe tal definição na área. A OpenAI tem uma definição interna. Pela própria definição da OpenAI, a Astra pode qualificar-se. Mas uma empresa a medir o seu produto contra uma definição que escreveu é um tipo de resultado diferente do que é medido por um padrão externo.

A frase que não veio com uma definição

O post de Huang não tinha ressalvas. “A AGI chegou” é uma declaração — não “por algumas medidas” ou “sob certas definições”, mas uma chegada limpa. A progressão de quatro anos que ele nomeou — ChatGPT, o1, Astra — é real como trajetória de capacidade. Cada modelo na sequência alargou o que era possível. Enquadrar essa sequência como uma viagem com um ponto final, e anunciar o ponto final, faz uma afirmação diferente: diz que a chegada é distinguível da viagem, que existe uma linha em vez de um declive, e que a Astra a cruzou.

O número do benchmark por trás dessa afirmação era 62,7%. As pessoas que construíram o teste publicaram-no. A questão que levanta — se a declaração de AGI é uma medição ou um movimento de mercado — estava lá a 6 de setembro. A cobertura respondeu-lhe em grande parte sem a fazer.

Etiquetas: inteligência artificial, nvidia, OpenAI, Jensen Huang, AGI, ARC-AGI-3