Amazonは2018年1月、レジ無し店舗「Amazon Go」の運用を開始した (下の写真)。一般顧客がAmazon Goで買い物をできるようになった。店舗内で顧客が取り上げた商品はAIが自動で認識し、専用アプリに課金される。店舗にはレジはなく、顧客は取り上げた商品を持ってそのまま店を出ることができる。謎が多いAmazon Goであるが、ニュース記事やツイッター記事を読むとその概要が見えてきた。

出典: Amazon

AIが購入を判断

Amazon Goは専用アプリで利用する。店舗に入る際にアプリを起動し、表示されたQRコードをリーダーにかざすと、ゲートのバーが開く。店舗内では、商品を手に取り、買いたいものを自分のバッグに入れる。商品点数が少なければ手で持つこともできる。AIは顧客が商品を取り上げた時点で購買したと判定する。

AIは返品も認識

しかし、気が変わり顧客が商品を棚に戻すと、AIは返品されたと認識する。この時点で、購買したアイテムからこの商品が取り除かれる。店舗にはレジはなく、買い物が終わると顧客はそのまま店を出る。AIは顧客が購買したアイテムを把握しており、専用アプリに課金される。レシートはアプリに示され、顧客は購入した商品を確認できる。

システム概要

どういう手法でこれを判定するのか気になるが、Amazonはその技法については公開していない。Computer Vision (画像解析)とDeep Learning Algorithm (深層学習アルゴリズム) とSensor Fusion (異なる種類のセンサーを統合) を利用していると述べるに留まっている。

必要な機能

無人レジでは、顧客を特定する技術と、取り上げられた商品を特定する技術が必要となる。前者はComputer Visionで消費者を把握し追跡する。後者もComputer Visionで商品を特定する。更に、商品棚にはセンサー (重量計) が設置され、特定の商品が取り上げられたことを把握する。

顧客を特定する技術

前述の通り、店舗にはゲートが設置されており (下の写真)、ここでアプリのQRコードをかざすと、システムは利用者を把握する。天井に設置されているカメラが利用者を認識し、位置を特定する。これで顧客情報とその姿を紐づけることができる。店舗内で利用者が移動すると、天井に設置されたカメラがそれを追跡する。AIは利用者の顔認証は実施しない。顧客の姿の特徴量を把握し、これをキーに顧客をトラックする。

出典: Seattle Times

天井に設置されたカメラ

天井には数多くのカメラが設置されている (下の写真)。カメラはボックスに装着されている。このボックスはプロセッサーで、カメラが捉えたイメージの基礎的なAI解析を実行する。具体的には、人の存在の認識、利用者の特定と追跡、利用者の動作の意味を把握する。利用者が移動すると、別のカメラがこれをフォローする。更に、カメラは棚の商品を認識し、取り上げられた商品の名前を特定する。

出典: Seattle Times

商品棚とセンサー

商品棚 (下の写真) にはカメラと重量計が搭載されている。ただし、この写真からそれらを確認することはできない。消費者が取り上げた商品を商品棚のカメラが認識する。重量計が棚の重さを計測し、重量が減ると商品が取り上げられたと認識する。(システムは各商品の重さを認識しており、重量計は取り上げられた商品名を特定する機能があるとの意見もある。)

出典: Seattle Times

売り上げの特定

これら一連のデータはサーバに送信され、Deep Learning Algorithmが売り上げを推定する。そのロジックは次の通り。天井のカメラは利用者の位置を追跡し、特定の商品棚の前にいることを認識し、その挙動 (手を伸ばすなど) を捉える。その棚の商品が取り上げられたことをカメラと重量計で認識する。これら一連の情報をDeep Learning Algorithmで解析し、特定の消費者が特定の商品を取り上げたことを判定する。

AIが幅広いケースを学習

店舗での買い物は様々な状況が発生する。システムはDeep Learningの手法でこれらを学習していく必要がある。顧客は商品をバッグに入れるが、途中で気が変わり、それを別の棚に返品すことが多々ある。顧客は商品をバッグに入れるのではなく同伴している子供に手渡すケースもある (下の写真、右側)。一方、顧客が商品を取り上げて、それを別の顧客に手渡すケースもある (下の写真、左側、現在このケースは禁止されている)。アルゴリズムはこれらの事態を把握し、正しく会計処理ができるよう教育される。

出典: VentureClef

アルゴリズム教育プロセス

このため、Deep Learning Algorithmを教育し、顧客を認識する精度を高め、消費者の行動の意味を学習するプロセスが成否のカギを握る。教育を通じ、アルゴリズムは顧客が商品を手に取る、商品をバッグに入れる、商品を棚に戻すなどの行動の意味を高精度で推定できるようになる。この教育プロセスを実施するために、公開に先立ち、Amazon GoはAmazon社員を使ったトライアルが実施された。

開店が遅れた理由

Amazon Goは2016年12月に発表され、2017年初頭の開店を目指していた。しかし、公開は2018年1月と大きくずれ込んだ。開発が遅れた理由は公表されていないが、店舗が込み合っている時は、AIは売り上げを正しく判定できないためとされる。このためにカメラの台数を増やし判定精度を向上させた。Amazon Goの床面積は1,800平方フィート (167平方メートル) でここに100台ほどのカメラが設置されている。三畳間に一台のカメラが設置されている計算で、Amazon Goは多数のカメラでもれなく顧客をモニターする構造となる。

認識精度は

気になるAmazon Goの認識精度であるが、開店して一週間が経過するが、特に大きな問題は報告されていない。ただ、CNBCのレポーターが買い物をしたとき、ある商品 (Siggi’s Yogurt) が課金されなかったと報じている (下の写真)。一方、あるレポーターは店員さんの許可を得て、商品を”万引き”したが、店舗を出るとアプリに課金されていたと報告している。判定精度は実用に耐えるレベルに達していると思われる。また、このシステムは万引き防止にも役立つことも分かってきた。

出典: Deirdre Bosa

レジ無し店舗展開計画

AmazonはAmazon Goの展開計画については沈黙を守っている。ただ、開店したAmazon Goの品ぞろえを見ると、コンビニ形式の店舗となっている。食料品や日用品を中心に品ぞろえされ、顧客は少数点数を購買するパターンが目立つ。Amazon Goはオフィス街のコンビニとして運営されるとの噂もある。時間に追われている社員が、昼休みにサンドイッチと飲み物を手に取り、急いで店を出るケースなどが想定されている。Amazon Goではレジ待ちはなく、ランチ時間がちょっとリッチになり、社員の味方になるかもしれない。