最強程式開發代理完整完成真實使用者需求的比例僅 26.4%

這些任務來自 26,314 段對話中的 37,463 項需求，挑選的都是使用者得重新表述需求或退回修改的案例。小任務可能是從收據讀出一個數字，再修正所有由它算出的總額；大任務則是重做整個專案。評分由兩個 AI 評審負責：一個在瀏覽器中實際操作應用程式，另一個檢查每次產出是否用了假畫面，或是直接填入答案而非真正算出來。

Claude Opus 5 排名第二，Qwen3.8-Max 第三，Grok 4.6 在十個模型中墊底。當任務同時混合版面、設計、互動與內容等三、四種修改時，每個模型的表現都會變差。GLM-5.2 在小幅修改上用掉的 token（模型計費的文字單位）接近 GPT-6 Astra 的六倍，得分卻還比較低。

根據我們的價格表（11 月 8 日確認），Claude Pro 每月 20 美元，內含 Anthropic 的程式開發代理 Claude Code。

行銷人員若用代理製作到達網頁，這個 26.4% 的數字代表每次修改都要人工檢查。代理通常能把大部分修訂做對，但至少會漏掉一個細節，例如總額不再對得上。