Três modelos do Claude escolhem produtos diferentes na Shopify

Ele obteve as listas pelo Shop MCP, que a Shopify lançou em outubro como uma conexão única que leva qualquer agente da busca até um checkout Shop Pay concluído, em mais de um bilhão de produtos do catálogo, sem precisar de chave de API para buscar.

Cada modelo foi consistente consigo mesmo. O Haiku deu ao favorito 67% de suas escolhas em média, o Opus 89% e o Sonnet 94%. Haiku e Sonnet tendiam a escolher o item com mais avaliações. Isso favoreceu uma garrafa de água da nobl que o catálogo creditava com 447.221 avaliações e nota perfeita, enquanto a própria página do produto da nobl contava 6.537 quando Manić conferiu. O Opus descreveu sua escolha como segura ou a mais segura em 222 de 300 respostas.

Manić rodou os modelos pelo Claude Code, que vem com o Claude Pro a US$ 20 por mês na nossa verificação de 2 de novembro; ele não diz qual plano usou nem quanto uso as 1.980 escolhas consumiram.

Cerca de metade das escolhas de Haiku e Sonnet foi para o produto com mais avaliações; assim, a contagem de avaliações no catálogo da Shopify, cerca de 68 vezes o número da página do produto da nobl neste caso, é o dado que um lojista no Shop MCP mais tem motivo para conferir.