Tecnologia

Anthropic ativa as suas regras contra a IA que se melhora a si própria

Adrian Kessler
Adicione-nos no Google

A Anthropic concluiu formalmente que a inteligência artificial está agora a acelerar a sua própria investigação ao ponto de ultrapassar um limite que a empresa estabeleceu para si mesma. No prospeto de entrada em bolsa, cuja versão foi alterada, a empresa responsável pelo Claude afirma ter atingido o limiar de capacidade de investigação e desenvolvimento em IA definido na sua Responsible Scaling Policy, o conjunto de regras internas que determina o nível de segurança e supervisão de que os seus modelos necessitam. A política descreve esse limiar como o início da autoaperfeiçoamento recursivo, o ponto em que os sistemas de IA começam a acelerar o trabalho de criação de IA cada vez melhor.

O que torna esta conclusão invulgar é aquilo em que não se baseia. A Anthropic escreve que chegou a esta conclusão «com base no que esperamos dos modelos futuros e no nosso ritmo geral de progresso, e não no que observámos nos modelos atuais». Não foi demonstrado que nenhum modelo Claude disponível tenha ultrapassado esse limite. A empresa está a agir com base na sua própria previsão e está a dar essa informação aos investidores antes de as ações começarem a ser negociadas.

As provas a que a empresa recorre são internas. O prospeto afirma que o Claude escreveu mais de 90% das contribuições para a base de código da Anthropic num dos últimos meses e que o volume de código produzido diariamente por cada engenheiro aumentou mais de 45 vezes. A Anthropic acrescenta que os seus modelos «escrevem uma parte grande e crescente do nosso código e participam cada vez mais na nossa investigação, incluindo na investigação sobre segurança».

A política estabelece duas formas de ultrapassar este limiar. Uma é a existência de um modelo capaz de substituir integralmente todo o pessoal de cientistas investigadores e engenheiros da Anthropic, a um custo competitivo. A outra é uma «aceleração dramática» do progresso da IA, que a política define como a concentração de cerca de dois anos de progresso num só, plausivelmente impulsionada por investigação automatizada. Como este segundo critério se aplica quando a empresa consegue «observar ou prever» um salto desta dimensão, uma previsão basta para o ativar.

Ultrapassar esse limite obriga a Anthropic a adotar um conjunto mais exigente de medidas de proteção. A política prevê projetos de segurança de «ambição extrema» contra os atacantes mais bem financiados do mundo e um regime de «tudo sob vigilância», no qual todas as atividades críticas de desenvolvimento de IA são registadas e analisadas por IA para detetar ameaças, incluindo as provenientes de pessoas internas, sejam elas humanas ou máquinas. A equipa interna de red team tem também de encontrar mais formas de contornar as salvaguardas do que todos os investigadores externos dos seus programas de recompensa por deteção de erros, em conjunto. O prospeto afirma que a empresa já adiou por mais de um mês o pré-treino de um novo modelo de fronteira, para reforçar as proteções contra o roubo dos pesos do modelo, e que está a ponderar regras que exijam a aprovação de uma pessoa em determinadas decisões de investigação, à medida que o Claude assume uma parte crescente desse trabalho.

Para quem usa o Claude no trabalho ou o Claude Code, o efeito prático poderá ser o lançamento mais lento de novas versões. A carta dos fundadores, publicada juntamente com a documentação da entrada em bolsa, afirma que poderá haver momentos em que a Anthropic opte por «avançar mais lentamente do que poderia, para tornar os nossos sistemas mais seguros, mesmo que isso nos coloque em desvantagem competitiva». Hoje, nada muda nas aplicações.

Esta conclusão é uma autoavaliação ao abrigo de uma política voluntária, redigida pela Anthropic e que a empresa pode rever, e não foi confirmada por nenhum auditor externo. A política reconhece que o limiar «tem sido difícil de traduzir em medidas concretas», e o documento admite que grande parte das provas assenta em indicadores desfasados, pelo que uma aceleração real poderá só ser detetada depois de ter ocorrido. As declarações de risco incluídas num prospeto também são redigidas para proteger uma empresa de processos judiciais futuros e, como noticiou o Gizmodo, uma versão anterior do mesmo documento dizia apenas que a Anthropic «poderá estar prestes a cumprir» os critérios.

A Anthropic afirma que continua a avaliar os dados subjacentes e que publicará novos relatórios sobre o que significa atingir este limiar. Espera-se que o preço das ações seja fixado a 18 de novembro e que comecem a ser negociadas na Nasdaq, sob o símbolo ANT, a 19 de novembro, dentro de um intervalo proposto de 70 a 78 dólares por ação. Para já, a única prova de que o limite foi ultrapassado é a previsão da própria Anthropic.

Etiquetas: , , , , ,

Adicione-nos no Google

Discussão

Existem 0 comentários.