Tres modelos de Claude eligen distinto en Shopify

Obtuvo las listas con Shop MCP, que Shopify lanzó en octubre como una única conexión que lleva a cualquier agente de la búsqueda a un pago completo con Shop Pay, sobre más de mil millones de productos de catálogo y sin clave de API para buscar.

Cada modelo fue constante consigo mismo. Haiku dio a su favorito 67 % de sus elecciones en promedio, Opus 89 % y Sonnet 94 %. Haiku y Sonnet tendían a elegir el artículo con más reseñas. Eso favoreció una botella de agua de nobl que el catálogo acreditaba con 447,221 reseñas y una puntuación perfecta, mientras que la página de producto de nobl contaba 6,537 cuando Manić la revisó. Opus describió su elección como segura o la más segura en 222 de 300 respuestas.

Manić ejecutó los modelos con Claude Code, que viene con Claude Pro a $20 al mes en nuestra revisión del 2 de noviembre; no dice qué plan usó ni cuánto uso consumieron las 1,980 elecciones.

Cerca de la mitad de las elecciones de Haiku y Sonnet fue al producto con más reseñas. Por eso, el número de reseñas del catálogo de Shopify, unas 68 veces la cifra de la página de producto de nobl en este caso, es el dato que más conviene revisar a un comercio que vende en Shop MCP.