Claude lidera um quarto da investigação da Anthropic — e os números foram calculados pela própria IA

Um em cada quatro trabalhos de investigação em IA na Anthropic é agora liderado pelo Claude. Não atribuído ao Claude como ajudante, nem revisto pelo Claude posteriormente — iniciado a partir de uma instrução de alto nível e concluído do início ao fim, com uma pessoa a verificar o resultado quando está pronto. Há nove meses, esse número era inferior a um por cento.

A Anthropic distingue duas situações. Quando o Claude lidera uma tarefa, trata da maior parte do trabalho de forma independente; um supervisor examina o resultado em vez de orientar cada passo. Isso é uma categoria diferente dos noventa por cento da I&D total da Anthropic em que o Claude atua como colaborador — um humano dirige, o Claude trata de partes específicas. Liderar é a classificação mais exigente. Representa agora 26 por cento de toda a investigação em IA que a empresa realiza, ponderado pelo tempo que os investigadores gastariam de outra forma nessas tarefas.

A escala é concreta. Cerca de 30.000 agentes Claude funcionam simultaneamente nas plataformas internas da Anthropic, realizando trabalho em treino de modelos, avaliações, investigação em interpretabilidade e análise de segurança. Em Agosto, esses agentes tomaram mais de mil milhões de decisões no total. Os sistemas de monitorização em tempo real da Anthropic bloquearam 0,002 por cento delas — aproximadamente uma em cada 47.000 ações — antes da execução. Uma camada offline sinalizou depois cerca de 100.000 transcrições por semana para revisão, encaminhando aproximadamente 50 para um humano.

A segurança tem um orçamento mensurável dentro desse sistema. Durante uma única semana em Julho, o trabalho dedicado a manter os agentes seguros consumiu seis por cento de toda a computação de investigação e desenvolvimento em IA, e doze por cento da computação que a própria I&D orientada por IA estava a utilizar. A Anthropic afirma que classificou de forma conservadora, excluindo classificadores de segurança dedicados da contagem, o que sugere que a proporção real é ainda mais elevada.

Um problema epistemológico está no centro de tudo isto. A contribuição do Claude para a investigação da Anthropic é avaliada parcialmente pelo próprio Claude. Um modelo Claude avalia o trabalho do Claude; os números de supervisão cobrem apenas uma plataforma interna; e a classificação da computação baseou-se em modelos Claude a amostrar e a etiquetar as suas próprias execuções. Nenhuma entidade terceira independente auditou a metodologia. Os três números que a Anthropic publicou são precisos, mas são precisão auto-reportada — o que é diferente de precisão verificada.

A Anthropic afirma que começará a incorporar avaliadores externos no processo. Sem nomes, sem datas de início, e nenhuma divulgação comparável de outros laboratórios de IA surgiu ainda. O valor de 26 por cento, ao ritmo a que evoluiu, é uma fotografia e não um teto.

Etiquetas: inteligência artificial, Anthropic, Claude, ia, segurança IA, investigação IA