최고 성능 코딩 에이전트, 실제 사용자 요청 완전 해결은 26.4%뿐

과제는 세션 26,314개에서 나온 요청 37,463건으로, 사용자가 요청을 다시 쓰거나 변경을 되돌려야 했던 사례를 골랐습니다. 작은 작업은 영수증에서 금액 하나를 읽어 그 금액에 기댄 모든 합계를 고치는 정도이고, 큰 작업은 프로젝트 전체를 다시 짜는 일입니다. 평가는 AI 심사위원 둘이 맡습니다. 하나는 브라우저에서 앱을 직접 조작하고, 다른 하나는 각 결과물이 목업이나 계산 없이 입력만 해 둔 답이 아닌지 확인합니다.

Claude Opus 5이 2위, Qwen3.8-Max가 3위이며, Grok 4.6은 10개 중 10위입니다. 레이아웃, 디자인, 인터랙션, 콘텐츠 같은 변경 유형이 서너 가지 섞인 과제에서는 모든 모델의 성적이 떨어집니다. GLM-5.2는 작은 변경에서 GPT-6 Astra보다 토큰(모델이 요금을 매기는 텍스트 단위)을 6배 가까이 쓰고도 점수는 더 낮았습니다.

11월 8일 확인한 가격표에 따르면 Claude Pro는 월 20달러이며, Anthropic의 코딩 에이전트 Claude Code가 포함됩니다.

에이전트로 랜딩 페이지를 만드는 마케터에게 26.4%라는 수치는 수정할 때마다 사람이 검수해야 한다는 뜻입니다. 에이전트는 대개 수정 사항의 대부분을 맞히지만, 합계가 더는 맞지 않는 식으로 세부 사항을 하나 이상 놓칩니다.