最高性能のコーディングエージェントでも、実際のユーザー依頼を完全にこなせるのは26.4%のみ

タスクは26,314件のセッションにわたる37,463件の依頼から選んでおり、ユーザーが依頼を言い直したり、変更を元に戻したりした場面が対象です。小さなタスクは、レシートから数値を読み取り、それを基にした合計をすべて直す程度。大きなタスクは、プロジェクト全体の作り直しです。採点は2種類のAI審査員が担当し、1つはブラウザでアプリを動かし、もう1つは各回答にモックアップや、計算せず直接書き込んだ答えがないかを確認します。

2位はClaude Opus 5、3位はQwen3.8-Max、Grok 4.6は10モデル中10位でした。レイアウト、デザイン、インタラクション、コンテンツなど、3〜4種類の変更が混在するタスクでは、どのモデルも成績が下がります。GLM-5.2は小規模な変更でGPT-6 Astraの6倍近いトークン（モデルが課金の単位にするテキストの単位）を使いながら、スコアは下回りました。

料金表（11月8日確認）では、Claude Proは月額20ドルで、Anthropicのコーディングエージェント、Claude Codeが含まれます。

エージェントでLP（ランディングページ）を作るマーケターにとって、26.4%という数字は、変更のたびに人の目で確認が必要だということです。エージェントは修正の大部分を正しくこなしても、合計が合わなくなるなど、少なくとも1つは細部を見落とすのが通例です。