AIに買い物を任せる試験で、22のAIのモデルが42.8%失敗し、失敗の54%は条件に合わない物をすすめるなどして買い物まで進んでいた。Visaが「AIの買い物の力」を測る試験を公開
・カード会社のVisaが2026年11月5日、AIが客の代わりに買い物をする力を測る試験「Visa Agentic Commerce Benchmark」を公開した。12社の22のモデルに、テレビやノートパソコンなど15の買い物の課題を解かせた
・合格したのは全体の57.2%で、42.8%は失敗した。最もよいモデルは82.2%、最も低いモデルは28.9%の合格だった。同じ課題を3回解かせて3回とも合格したのは34.2%だけ
・失敗のうち約半分(54%)は、客の条件に合わない物をすすめた、または客の条件を聞き出しきれないまま、買い物まで進んでいた
カード会社のVisaは2026年11月5日、AIが客の代わりに買い物をする力を測る試験を公開しました。
11月13日には、OpenAIが、AIに支払いまで任せる「ChatGPT Wallet」を発表しました(ChatGPT Walletの記事)。AIに買い物を任せる流れが進むなか、AIが客の求める物をきちんと選べるのかを、決まった課題で比べたのが今回の試験です。
この記事では、Visaの発表で分かったことを整理したうえで、ふだんの仕事がどう変わるのかを考えます。
AIが客の条件を聞き出し、買うか買わないかを決める試験
まずは、試験のしくみです。
Visaの発表によると、次のとおりです。
・客は、何がほしいかを初めからはっきり伝えるとは限らない。たとえば「テレビがほしい」とは分かっていても、必要な性能までは言わない
・試験では、AIが会話から客の条件を聞き出す必要がある。条件に合う物がなければ、買わないと決めるのが正解
・たまたま当たるのを防ぐため、決めた理由になる情報を、十分に聞き出していないと合格にならない
・1回目の試験では、12社の22のモデルが、テレビ、ノートパソコン、身だしなみの家電など15の買い物の課題を解いた
合格は57.2%、3回とも合格は34.2%
次に、結果です。
| 項目 | 結果 |
|---|---|
| 全体の合格の割合 | 57.2%(失敗は42.8%) |
| 最もよいモデル/最も低いモデル | 82.2%/28.9% |
| 条件をよく聞き出した上位5つのモデル | 70.2% |
| 条件をあまり聞き出せなかった下位5つのモデル | 44.4% |
| 1回あたりの費用が高い上位5つのモデル | 67.1% |
| 1回あたりの費用が安い下位5つのモデル | 50.2% |
| 同じ課題で3回とも合格 | 34.2% |
・失敗のうち約半分(54%)は、それでも買い物まで進んでいた。客の条件に合わない物をすすめたか、客の条件を聞き出しきれていなかった
・一度合格した課題をもう一度解かせると、同じモデルでも失敗することが多かった
スポンサーリンク
Visaは「AIは買い物に向かない」とは言っていない
ここで、Visaの見方も見ておきます。
・Visaは、AIがまだ買い物に使えないという意味ではないとしている。上位のモデルは82.2%合格していて、課題は、毎回同じようにできることと、信頼できることだとしている
・9月に出したVisaの調べでは、米国の人の72%がAIの手伝いを使ったことがある一方、AIに支払いを任せられると答えたのは23%だった
・今後は、ほかの買い物の場面や商品を加え、会計、支払い、注文の確定まで試す。試験は、AIの会社にも共有している
・試験は、Visaのサイト「Visa Payments Frontier」で、誰でも試したり、AIの解き方の記録を見たりできる
仕事はどう変わるか:AIに頼むときは「条件を言い切る」ことが大事になる
ここからは、公式の情報をもとにした僕の見方です。
この試験から見えるのは、AIに買い物を任せるときは、AIの賢さだけでなく、頼む側がどれだけ条件をはっきり伝えるかが、結果を大きく左右するということだと考えています。
条件をよく聞き出したモデルほど合格し、条件を聞き出しきれないまま買ってしまう失敗が多くありました。つまり、頼む側が最初から予算や必要な性能、ゆずれない点を書いておけば、AIの失敗は減らせそうです。同じ課題でも毎回結果が変わる点も、AIに任せるときに忘れてはいけないところです。
一方で、売る側から見ると、AIに選ばれるには、商品の性能や条件がはっきり書かれていることが欠かせません。AIが聞き出したい情報を、商品ページで先に答えておく形になります。
ネットで物を売っている個人事業主にとっては、自分の商品ページに、客がAIに伝えそうな条件(大きさ、使える場面、合わない人)が書かれているかを見直すきっかけになりそうです。
あわせて、知っておきたいこともあります。
・試験をしたのは、AIの支払いのしくみも作っているカード会社のVisa
・試験で使ったモデルの名前ごとの結果は、発表の本文には書かれていない。詳しくは、Visaのサイトの報告書で公開している
・今回の試験は、商品を選ぶところまで。支払いや注文の確定は、これから試す
まとめ:AIの買い物の試験で、42.8%が失敗
Visaは、AIが客の代わりに買い物をする力を測る試験を公開しました。12社の22のモデルのうち、合格は全体の57.2%で、3回とも合格したのは34.2%でした。失敗の約半分は、条件に合わない物をすすめるなどして、買い物まで進んでいました。
AIに買い物を任せる時代の入り口では、AIの賢さと同じくらい、頼む側と売る側がはっきり条件を書くことが大事になる、というのがいちばん大きな学びです。
まずは、次にAIに商品を探してもらうとき、予算、必要な性能、ゆずれない点の3つを最初に書いてから頼んでみるのがよさそうです。
出典
・Visa「Visa Releases First-of-Its-Kind Industry Benchmark for AI Shopping; Almost Half of Test Runs Fail」(2026年11月5日) https://usa.visa.com/about-visa/newsroom/press-releases.releaseId.22936.html
