Trois modèles Claude, trois choix différents sur Shopify

Il a récupéré les listes via Shop MCP, que Shopify a lancé en octobre comme une connexion unique qui mène n'importe quel agent de la recherche jusqu'à un paiement Shop Pay finalisé, sur plus d'un milliard de produits du catalogue, sans clé API pour rechercher.

Chaque modèle est resté constant avec lui-même. Haiku a donné son favori dans 67 % de ses choix en moyenne, Opus dans 89 % et Sonnet dans 94 %. Haiku et Sonnet avaient tendance à retenir l'article comptant le plus d'avis. Cela a favorisé une gourde nobl que le catalogue créditait de 447 221 avis et d'une note parfaite, alors que la page produit de nobl en affichait 6 537 au moment où Manić a vérifié. Opus a décrit son choix comme sûr ou le plus sûr dans 222 réponses sur 300.

Manić a fait tourner les modèles via Claude Code, inclus avec Claude Pro à 20 $ par mois lors de notre vérification du 2 novembre ; il ne dit pas quelle formule il a utilisée ni quel volume d'usage ces 1 980 choix ont consommé.

Environ la moitié des choix de Haiku et de Sonnet sont allés au produit le plus commenté : le nombre d'avis dans le catalogue Shopify, ici environ 68 fois celui de la page produit de nobl, est donc le chiffre qu'un marchand sur Shop MCP a le plus intérêt à vérifier.