Tecnologia

A IA escreve o código e os programadores que a usam trabalham 19% mais lento

Susan Hill

Agentes de software como Devin, Claude Code e GitHub Copilot Workspace agora aceitam uma descrição de tarefa, leem uma base de código, escrevem código que a resolve, executam testes até que estes passem e abrem um pull request — sem que o programador escreva uma única linha. Devin, construído pela Cognition AI, faz isto dentro de ambientes de cloud isolados. Em toda a sua base de utilizadores em produção, 67% dos pull requests que abre autonomamente são fundidos. Claude Code lê um repositório inteiro, planeia alterações em vários ficheiros, executa a suíte de testes e itera sem instrução entre cada passo. Estas ferramentas estão em uso em produção, não em pré-visualizações de investigação.

O que as separa das ferramentas de geração de código anteriores é o ciclo de feedback. Um motor de sugestão gera texto e para; um agente autónomo gera código, executa-o, lê o que retorna e tenta novamente. O suporte subjacente é o mesmo em todas as ferramentas: um modelo de linguagem de grande escala lê o contexto — base de código, descrição do problema, registo de erros — gera um plano, executa-o através de ferramentas como comandos de shell, edições de ficheiros e operações git, lê o resultado e revê. O ciclo continua até que o agente tenha sucesso ou esgote o seu orçamento de recursos.

O ciclo que substituiu o editor

O leque de autonomia entre as ferramentas disponíveis abrange três níveis. No extremo assistido, GitHub Copilot sugere as próximas linhas enquanto o programador escreve. Um nível acima, editores multi-ficheiro como Cursor reescrevem numa base de código sob direção do programador, fazendo as alterações que o programador especifica. No extremo autónomo, Devin e sistemas comparáveis operam independentemente por longos períodos, tomando decisões sequenciais sobre o que ler, o que alterar e o que testar, surgindo apenas para aprovações que o sistema não consegue tratar sozinho.

O quadro de avaliação que mede o progresso nestas ferramentas é o SWE-bench, criado por investigadores de Princeton e Stanford. Testa agentes em relatórios de bugs reais de repositórios Python de código aberto — Django, Flask, scikit-learn — e mede a percentagem que um agente consegue fechar corretamente. A pontuação publicada mais alta atualmente no subconjunto Verified, 96%, pertence ao Claude Opus 5. Esse número representa capacidade genuína: a capacidade de diagnosticar um bug real de software, escrever uma correção e verificar se passa nos testes do próprio projeto.

O que o benchmark esconde

A pontuação de 96% vem com um asterisco importante. SWE-bench Verified baseia-se em 500 tarefas cuidadosamente selecionadas. Quando os investigadores aplicaram uma variante resistente à contaminação — SWE-bench Pro, concebida usando problemas que não poderiam ter aparecido nos dados de treino de qualquer modelo — um modelo anterior que pontuou mais de 80% no Verified caiu abaixo de 50% no Pro. Algum desempenho de benchmark reflete familiaridade com o conjunto de avaliação, não capacidade generalizada de resolução de problemas. A lacuna é um desafio de investigação conhecido, não uma crítica a nenhuma ferramenta específica.

Um estudo separado encontrou algo mais difícil de explicar. A METR, uma organização de investigação em segurança de IA, realizou um ensaio controlado randomizado com programadores experientes de código aberto a trabalhar nos seus próprios repositórios. Os programadores que usavam ferramentas atuais de codificação de IA eram 19% mais lentos do que aqueles que trabalhavam sem elas — apesar de estimarem, de forma independente, que estavam 20% mais rápidos. As causas foram específicas: tempo gasto a repetir instruções quando o agente produzia resultados incorretos, tempo gasto a verificar os resultados antes de fazer merge, e a sobrecarga cognitiva de alternar entre dar instruções a um agente e acompanhar o que o agente tinha feito. Um benchmark testa se um agente consegue resolver um bug bem especificado de forma isolada. Um ensaio randomizado testa se um programador trabalha mais rápido ao longo de um dia real. Estão a medir coisas diferentes.

Porque é que uma adoção de 93% produziu apenas um ganho de 10% no débito

A autonomia de código tem melhor desempenho em tarefas delimitadas e bem especificadas: um bug reproduzível com inputs e outputs claros, uma função com uma especificação precisa, uma suíte de testes para um módulo com comportamento definido. À medida que o âmbito se expande para tarefas que exigem conhecimento arquitetónico implícito, convenções de equipa não documentadas ou decisões sobre a direção do produto, a fiabilidade cai — não porque os modelos carecem de capacidade, mas porque o contexto que essas decisões exigem não cabe no sistema e não pode ser derivado apenas dos ficheiros da base de código.

A mudança prática está no que o trabalho exige. Os programadores que trabalham com agentes autónomos passam mais tempo a escrever especificações suficientemente precisas para um agente executar: descrições detalhadas de problemas, contratos de teste claros, critérios de aceitação explícitos. Passam mais tempo a rever código que não escreveram, o que requer um tipo diferente de atenção do que escrever código — a procurar erros de lógica, falhas de segurança e desvios arquitetónicos que o agente não sinalizará por si só. Um inquérito de 2026 a 121.000 programadores descobriu que 93% utilizam ferramentas de codificação de IA regularmente; o débito de pull requests aumentou cerca de 10% no mesmo grupo. O gargalo passou da escrita de código para a sua revisão.

A próxima fase em desenvolvimento ativo são agentes que gerem as suas próprias filas de tarefas: receber uma especificação de projeto, dividi-la em subtarefas, delegar entre modelos especializados e apresentar apenas as decisões que requerem julgamento humano. Vários frameworks de código aberto para orquestração de codificação multi-agente foram lançados em 2026. A adoção empresarial em ambientes de produção continua limitada. A Gartner projeta que uma parte significativa dos projetos de software com agentes iniciados este ano serão descontinuados antes de 2028, quando as equipas descobrirem a distância entre o que uma demonstração controlada mostra e o que uma implantação fiável à escala requer.

Etiquetas: , , , ,

Discussão

Existem 0 comentários.