Claude 3개 모델, 같은 Shopify 목록에서 서로 다른 상품 선택

그는 Shop MCP로 목록을 가져왔습니다. Shopify가 10월에 출시한 Shop MCP는 어떤 에이전트든 검색에서 Shop Pay 결제 완료까지 10억 개가 넘는 카탈로그 상품에 걸쳐 하나의 연결로 이어 주며, 검색에는 API 키가 필요 없습니다.

각 모델은 자기 안에서는 일관됐습니다. 평균적으로 Haiku는 1순위 상품을 선택의 67%, Opus는 89%, Sonnet은 94% 골랐습니다. Haiku와 Sonnet은 리뷰 수가 가장 많은 상품을 고르는 경향이 있었습니다. 그 덕에 카탈로그에서 리뷰 447,221개에 만점으로 표시된 nobl 물병이 선택됐는데, Manić가 확인했을 때 nobl 자체 상품 페이지의 리뷰는 6,537개였습니다. Opus는 300개 답변 중 222개에서 자신의 선택을 안전한 또는 가장 안전한 선택이라고 설명했습니다.

Manić는 Claude Pro에 포함된 Claude Code로 모델을 돌렸습니다. Claude Pro는 11월 2일 확인 기준 월 20달러입니다. 그가 어떤 플랜을 썼는지, 1,980회 선택에 사용량이 얼마나 들었는지는 밝히지 않았습니다.

Haiku와 Sonnet의 선택 중 절반가량이 리뷰가 가장 많은 상품으로 갔으므로, Shop MCP에 입점한 판매자가 가장 먼저 확인할 숫자는 Shopify 카탈로그의 리뷰 수입니다. 이번 사례에서는 nobl 자체 상품 페이지 수치의 약 68배였습니다.