Bester Coding-Agent löst nur 26,4 % echter Anfragen komplett

Die Aufgaben stammen aus 37.463 Anfragen in 26.314 Sitzungen, ausgewählt dort, wo Nutzer eine Anfrage umformulieren oder eine Änderung zurücknehmen mussten. Ein kleiner Auftrag kann bedeuten, einen Betrag von einem Beleg abzulesen und alle darauf aufbauenden Summen zu korrigieren, ein großer, ein ganzes Projekt umzubauen. Bewertet wird von zwei KI-Juroren: Einer bedient die App im Browser, der andere prüft jeden Durchlauf auf Attrappen oder eingetippte statt berechnete Antworten.

Claude Opus 5 liegt auf Platz zwei, Qwen3.8-Max auf drei, während Grok 4.6 als Zehnter von zehn ins Ziel kommt. Alle Modelle schneiden schlechter ab, wenn eine Aufgabe drei oder vier Arten von Änderungen mischt, etwa Layout, Design, Interaktion und Inhalt. GLM-5.2 verbrauchte bei kleinen Änderungen fast sechsmal so viele Tokens (die Texteinheiten, nach denen Modelle abrechnen) wie GPT-6 Astra und erzielte trotzdem weniger Punkte.

Laut unserer Preisübersicht (geprüft am 8. November) kostet Claude Pro 20 $ pro Monat, inklusive Claude Code, dem Coding-Agenten von Anthropic.

Wer als Marketer Landingpages mit einem Agenten baut, braucht bei einer Quote von 26,4 % bei jeder Änderung eine menschliche Prüfung. Der Agent setzt meist den Großteil einer Überarbeitung richtig um und übersieht mindestens ein Detail, etwa eine Summe, die nicht mehr stimmt.