Visa調査、AIショッピングエージェントは購入テストの57%で合格

全体では、57.2%の実行が合格でした。さらに23.1%は購入に至ったものの、要望に合わない商品でした。残りの19.7%は2つに分かれます。判断を下さなかった実行と、条件に合う商品があったにもかかわらず、何も買わずに顧客が去った実行です。後者の多くは、アシスタントが「該当する商品はない」と答えたケースでした。

最高スコアの82.2%は、Gemini 4 ArgonとMuse Wonderが並びました。ただしVisaは、次点以下の11モデルと誤差の範囲が重なるため、明確にトップといえるモデルはないとしています。価格別の結果では、1回の実行あたりのコストが安い5モデルが50%、高い5モデルが67%でした。

失敗の仕方はモデルごとに異なります。GPT-6.1 Terraは、適した商品があったのに、実行の38%で購入せずに終えました。一方、Gemini 3.1 Proは逆の傾向で、実行の51%が要望に合わない購入で終わっています。

普段使われているアシスタントは、手軽に試せる価格です。当サイトが11月6日に確認した時点では、Google AI Proは月額19.99ドル、Claude Proは月額20ドルでした。ただしVisaのコスト指標は1回の実行あたりの数値で、これらのプランにはそのまま当てはまりません。

販売側から見ると、2つの失敗は影響が異なります。購入せずに去るモデルは、取れたはずの売上を逃します。誤って購入するモデルは、要件を満たさない注文や、要件が判明する前に確定した注文を届けることになります。