Le meilleur agent de code ne réussit que 26,4 % des demandes

Les tâches proviennent de 37 463 demandes réparties sur 26 314 sessions, retenues lorsque l'utilisateur a dû reformuler sa demande ou annuler une modification. Un petit chantier peut consister à lire un montant sur un ticket de caisse et à corriger tous les totaux qui en découlent ; un gros chantier, à refondre un projet entier. La notation repose sur deux juges IA : l'un utilise l'appli dans un navigateur, l'autre vérifie, à chaque passage, l'absence de maquettes ou de réponses saisies à la main plutôt que calculées.

Claude Opus 5 se classe deuxième et Qwen3.8-Max troisième, tandis que Grok 4.6 termine dixième sur dix. Tous les modèles font moins bien quand une tâche mêle trois ou quatre types de modification, comme la mise en page, le design, l'interaction et le contenu. GLM-5.2 a consommé près de six fois plus de tokens que GPT-6 Astra (les unités de texte sur lesquelles les modèles facturent) sur les petites modifications, pour un score pourtant inférieur.

Notre fiche des prix, vérifiée le 8 novembre, affiche Claude Pro à 20 $ par mois, avec Claude Code, l'agent de code d'Anthropic, inclus.

Pour un marketeur qui crée ses landing pages avec un agent, ce chiffre de 26,4 % veut dire une vérification humaine à chaque modification. L'agent réussit en général l'essentiel d'une révision, mais rate au moins un détail, par exemple un total qui ne tombe plus juste.