Claudeの3モデル、同じShopify商品リストから別々の商品を選ぶ

Manić氏は、Shop MCP経由でリストを取得しました。Shop MCPはShopifyが10月に公開したもので、10億点を超えるカタログ商品を対象に、検索からShop Payでのチェックアウト完了まで、あらゆるエージェントを単一の接続でつなぎます。検索にAPIキーは不要です。

各モデルは単体では安定していました。お気に入りを選んだ割合は平均でHaikuが67%、Opusが89%、Sonnetが94%です。HaikuとSonnetは、レビュー数が最も多い商品を選ぶ傾向がありました。その結果、カタログ上でレビュー447,221件、満点と表示されていたnoblのウォーターボトルが有利になりましたが、Manić氏が確認した時点で、noblの商品ページのレビュー数は6,537件でした。Opusは、300回答のうち222回で、自分の選択を安全、あるいは最も安全だと説明しました。

Manić氏はClaude Codeでモデルを動かしました。Claude Codeは、11月2日の確認時点で月額20ドルのClaude Proに付属します。同氏は、どのプランを使ったか、1,980回の選択でどれだけの利用量を消費したかを明らかにしていません。

HaikuとSonnetの選択の約半数は、レビュー数が最も多い商品に集まりました。そのため、Shop MCPに出店する事業者が最も確認すべき数字は、Shopifyカタログ上のレビュー数です。今回のケースでは、noblの商品ページの約68倍でした。