adtestbench Higgsfield
PT

Notícias de IA · Pesquisa · Co-Design Bench

Melhor agente de programação conclui só 26,4% dos pedidos reais

Um benchmark criado com 26.314 sessões reais de programação mostra que o melhor de dez modelos cumpre 69,9% dos critérios de uma tarefa em média, mas raramente todos.

Por Alexandre S. , 04:30 UTC

Agentes de programação com IA fazem a maior parte do trabalho e deixam algo por fazer. O Co-Design Bench, benchmark criado por pesquisadores da Alibaba e de várias universidades asiáticas, entrega aos agentes 273 pedidos de alteração tirados de sessões reais de programação de usuários, noticiou o The Decoder no domingo, 8 de novembro de 2026. O melhor de dez modelos, o GPT-6 Astra, cumpre 69,9% dos critérios de uma tarefa em média, mas conclui por completo só 26,4% das tarefas, diz o estudo.

Ilustração retrofuturista: um pôr do sol listrado sobre um horizonte de grade, sob um céu estrelado, com uma janela de software no horizonte.
Ilustração da adtestbench a partir de “AI coding agents still need human cleanup on nearly three out of four tasks”,

As tarefas vêm de 37.463 pedidos em 26.314 sessões, escolhidos onde o usuário teve de reformular o pedido ou desfazer uma alteração. Um serviço pequeno pode ser ler um valor num recibo e corrigir todos os totais que dependem dele; um grande é refazer um projeto inteiro. A avaliação usa dois juízes de IA: um opera o app no navegador, o outro verifica em cada rodada se há protótipos de fachada ou respostas digitadas em vez de calculadas.

O Claude Opus 5 fica em segundo e o Qwen3.8-Max em terceiro, enquanto o Grok 4.6 termina em décimo, de dez. Todos os modelos se saem pior quando a tarefa mistura três ou quatro tipos de mudança, como layout, design, interação e conteúdo. O GLM-5.2 usou quase seis vezes os tokens (as unidades de texto pelas quais os modelos cobram) do GPT-6 Astra em mudanças pequenas e ainda assim pontuou menos.

Na nossa tabela de preços, verificada em 8 de novembro, o Claude Pro custa US$ 20 por mês, com o Claude Code, agente de programação da Anthropic, incluído.

Para quem faz landing pages com um agente, o número de 26,4% significa revisão humana a cada alteração. O agente costuma acertar a maior parte de uma revisão e errar ao menos um detalhe, como um total que deixou de bater.

Fontes

  1. The Decoder: AI coding agents still need human cleanup on nearly three out of four tasks. Verificado em
  2. arXiv: Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models. Verificado em
Retrato de Alexandre S.

Alexandre S.

Alexandre S. é estrategista criativo de anúncios e redator publicitário, com dez anos de experiência em marketing digital em vários canais.

Sobre o autorComo avaliamos as ferramentas

Mais notícias de IA de

Todas as notícias de IA, das mais recentes às mais antigas