Amazonは2018年10月、サンフランシスコでレジ無し店舗「Amazon Go」をオープンした(下の写真)。Amazon Goはシアトルで3店舗とシカゴで2店舗が運営されており、サンフランシスコ店は6番目の店舗となる。Amazonは2021年までに3000店舗を開設すると報道されており、全米で急速にレジ無し店舗が普及する勢いだ。

出典: VentureClef

近未来のショッピング

オープンしたばかりのAmazon Goで買い物をしたが、近未来のショッピングを体験できる。店舗内は高級コンビニという嗜好で、食料品を中心に品ぞろえされていた。Amazon Goにはレジはなく、取り上げた商品を持ってそのまま店を出ることができる。店舗を出てしばらくすると、購入した商品の代金が登録しているクレジットカードから引き落とされた。

QRコードで入店する

Amazon Goは専用アプリで利用する。店舗に入る際にアプリを起動し、表示されたQRコードをリーダーにかざすとゲートのバーが開く(下の写真)。友人や家族と来店した際にも同じ手順であるが、QRコードをかざして同伴者を先に入店させる。(天井に設置されているカメラが利用者だけでなく同伴者も把握する。)

出典: VentureClef

買いたいものを手に取る

店舗内では、商品を手に取り、買いたいものを自分のバッグに入れたり、手に持って買い物をする(下の写真)。品物を取り上げた時点で利用者の「Virtual Cart(仮想カート)」に商品が入る。気が変わり、取り上げた商品を棚に戻すと、Virtual Cartから取り出される。同伴者も同じ方式で買い物ができる。しかし、商品を取り上げて同伴者に手渡すことは禁止されている。(AIアルゴリズムの教育ができていないためか。)

出典: VentureClef

買い物が終わると

店舗にはレジはなく、買い物が終わると出口専用のゲートを通るだけで支払い処理が完了する(下の写真)。購入した商品の代金は登録しているクレジットカードから引き落とされる。ゲートの横でAmazon Goスタッフが顧客の質問に答えていたが、万引きなどの不正をチェックしている様子はなかった。(万引きすると売り上げ処理されるので不正行為はできない仕組み。)

出典: VentureClef

品揃えに特徴あり

Amazon Goはコンビニのように食料品や飲料水を中心に品ぞろえをしている。デリのコーナーもあり、サラダやサンドイッチなどが並んでいる。入口近くの棚には様々な種類のランチボックスが陳列されていた(下の写真)。ランチボックスは日本のお弁当のように、調理された食材が綺麗に配置されている。他に、フルーツやスープやデザートなどもそろっている。出口そばにはテーブルと椅子が用意されており、買ったものをその場で食べることができる。

出典: VentureClef

ロケーション

Amazon GoはサンフランシスコのFinancial Districtと言われる金融街にオープンした(下の写真、正面ビルの角)。ここに大企業のオフィスが集中しており、周辺にはレストランやデリなどが立ち並ぶ。Amazon Goは忙しい社員のために、食料品やランチボックスを販売する。短い昼休みであるが、レジ待ちの時間が無くなり、ゆっくり食事をすることができる。一方、周囲のデリやファーストフードは売り上げが減る可能性がある。  

出典: VentureClef

大規模に展開

AmazonはAmazon Goを2018年末までに10店舗開設する。2019年までに50店舗を、2021年までに3000店舗を開設すると報道されている。当初、Amazonはレジ無し店舗の技術を他社にライセンスすると噂されていたが、自ら店舗を運営する戦略であることが明らかになった。この市場ではAmazon Goに刺激され競争が激しくなっている。ベンチャー企業からAIを駆使したレジ無し店舗技術が登場し、店舗での実証実験が進んでいる。

Amazonが小売店舗をつぶしたのか

Amazon.comの登場で多くの小売店舗が売り上げを減らし、また、廃業に追い込まれている。先月、全米で最大規模のデパートであったSearsが130年の歴史に幕を閉じ、会社更生法の適用を受けた。AmazonがSearsを殺したという解釈があるが、小売店舗は進化の努力をしていないとの意見もある。Amazonは小売店舗をテクノロジーで改良し、消費者に快適な買い物環境を提供する戦略を取る。その一つがAmazon Goで消費者はレジ待ちの苦痛から解放される。Amazon Goは小売店舗が成長できる方向を示しているとみることもできる。

【Amazon Goの仕組み】

カメラで顧客と商品を認識

天井には数多くのボックスが設置され、ここにカメラが実装されている(下の写真)。ボックスはプロセッサーで、カメラが捉えたイメージの基礎的な解析を実行する。具体的には、人の存在の認識、顧客の特定と追跡、顧客の動作の意味の把握を実行する。顧客が移動すると、別のカメラがこれをフォローする。更に、カメラは棚の商品を認識し、取り上げられた商品の名前を特定する。

出典: VentureClef

センサーの情報

商品棚には重量計が搭載されている。重量計が棚の重さを計測し、重量が減ると商品が取り上げられたと認識する。カメラが捉えたデータと重量計のデータから、取り上げられた商品を特定する。Amazonはこの方式をSensor Fusionと呼んでいる。

Deep Learningで意味を把握

これら一連のデータはサーバーに送信され、Deep Learningが売り上げを推定する。天井のカメラは顧客の位置を追跡し、特定の商品棚の前にいることを認識し、その挙動 (手を伸ばすなど) を捉える。その棚の商品が取り上げられたことをカメラと重量計で認識する。これら一連の情報をDeep Learningで解析し、特定の顧客が特定の商品を取り上げたことを判定する。

警察は監視カメラの映像をAmazon顔認識技術で解析し、容疑者の身元を特定するシステムの運用を始めた。米国の人権団体はこの事実を掴み、警察の顔認識システムは人種差別につながるとして、運用の停止を求めている。一方、テロ事件など凶悪犯罪が多発する中、米国市民はAI監視カメラによる治安維持活動に一定の理解を示している。

出典: Amazon

顔認識クラウド

Amazonはイメージ解析技術を「Amazon Rekognition」としてクラウドで提供している。顔認識技術はこのモジュールに含まれ、写真やビデオに写っているオブジェクトの中から、人の顔を把握し、その人物の名前などを特定する。解析能力は高く、一枚のイメージの中で同時に100人の顔を解析できる (上の写真)。また、ライブビデオの映像を連続して解析し、特定の人物を追跡する機能もある。

警察の捜査で利用

Amazon Rekognitionの顔認識機能が米国の警察で使われている。オレゴン州ワシントン群警察 (Washington County Sheriff‘s Office) は、顔認識システムでAmazon Rekognitionを導入した (下の写真、イメージ)。警察は刑務所に収監された人物30万人の顔写真を所有しており、これをAmazon Rekognitionにアップロードし、犯罪者の顔データベースを構築。監視カメラが捉えた容疑者の顔を、このデータベースで検索することで、その人物の身元を特定する。このシステムは、市民が提供した容疑者の写真から、その人物を特定するためにも使われている。

出典: Washington County Sheriff‘s Office

システム運用の範囲

顔認識機能により犯罪捜査が効率化され、監視カメラで捉えた映像が容疑者や共犯者の逮捕につながる。ただし、警察は住民のプライバシーに配慮して、顔認識システムを限定的に運用している。監視カメラを使って一般市民を撮影し、その行動をリアルタイムでモニターすることはない。あくまで犯罪現場のビデオ画像から犯人を特定するためにだけ使われる。オレゴン州は法律により、一般市民をカメラで監視することを禁止しているため、警察は法令に従ってシステムを運用している。

フロリダ警察

また、フロリダ州オーランド警察 (Orlando Police Department) もAmazon Rekognitionを使った監視システムを開発している。市街地に設置されている監視カメラだけでなく、警察官が身に付けているボディーカメラやドローンで捉えた映像をAmazon Rekognitionで解析する。オーランド警察は人権問題に配慮して、このシステムは試験中で、警察による運用は始まっていないと説明している。更に、公共の場所で撮影されるビデオ画像は使ってなく、一般市民を監視するものではないことを強調している。

人権団体からの抗議

米国で警察がAmazon Rekognitionを導入し、監視カメラを犯罪捜査に活用する動きが広がっている。これに対して、ACLU (American Civil Liberties Union) など人権監視団体は強い懸念を表明し、警察に顔認識技術の使用を中止するよう要請している。その理由として、警察は顔認識技術を容疑者だけでなく、黒人、移民、特定団体の監視に使う恐れがあるとしている。デモに参加する一般市民を撮影し、顔の解析から名前を特定し、行動を監視する目的で使われることに懸念を示している。

FBIの顔認識システム

米国は早くからFBIが大規模な顔認識システムを開発している。このシステムは「Next Generation Identification-Interstate Photo System」と呼ばれ、警察が顔写真から本人の身元を特定するために使われる。2008年から開発が始まり、4億人超の顔写真が収集され、世界最大規模の顔データベースが構築された。しかし、認証精度が十分でなく、また、連邦議会からプライバシー問題を指摘され、実戦での運用は始まっていない。

流れが変わった

いまこの流れが大きく変わりつつある。Deep Learningの導入でコンピュータビジョンが進化し、顔認識精度が格段に良くなった。FBIが開発した技法より、Amazon Rekognitionのほうが認識精度が高い。更に、米国市民のメンタリティも大きく変わった。住民はプライバシー保護を求めるが、同時に、テロ事件など凶悪犯罪を防ぐ取り組みに理解を示している。警察の顔認識システムの運用に対し一方的に反対するのではなく、治安維持の必要性から一定の理解を示している。(下の写真、ボストンマラソンで監視カメラが捉えた犯人)

出典: CNN

中国が顔認識技術で先行

世界を見渡すと、監視カメラと顔認識システムの導入では、中国が大きく先行している。中国は国家戦略として、AI応用分野を顔認識に定め、新興企業を育成している。これにロシアやインドが続いている。更に、欧州各国はプライバシー保護に敏感であるが、イギリス警察は監視カメラと顔認識システムの導入を始めた。英国議会は慎重な態度を取るが、テロ事件が相次ぎ国民世論は顔認識システム容認に傾いている。

米国でも普及の兆し

米国では家庭向けAI監視カメラが普及し、住民はその恩恵を実感し始めている。AmazonやGoogle・Nestは家庭向けにAI監視カメラの販売を拡大している。撮影されたビデオ画像はクラウドで処理され、AIが問題のイベントを把握し、それをアラートの形で利用者に通知する。これにより、家庭のセキュリティが強化され、住民の安心感が格段に向上した。この延長線上に警察の顔認識システムが位置し、AI監視カメラの果たす役割が期待されている。

Amazonは2018年1月、レジ無し店舗「Amazon Go」の運用を開始した (下の写真)。一般顧客がAmazon Goで買い物をできるようになった。店舗内で顧客が取り上げた商品はAIが自動で認識し、専用アプリに課金される。店舗にはレジはなく、顧客は取り上げた商品を持ってそのまま店を出ることができる。謎が多いAmazon Goであるが、ニュース記事やツイッター記事を読むとその概要が見えてきた。

出典: Amazon

AIが購入を判断

Amazon Goは専用アプリで利用する。店舗に入る際にアプリを起動し、表示されたQRコードをリーダーにかざすと、ゲートのバーが開く。店舗内では、商品を手に取り、買いたいものを自分のバッグに入れる。商品点数が少なければ手で持つこともできる。AIは顧客が商品を取り上げた時点で購買したと判定する。

AIは返品も認識

しかし、気が変わり顧客が商品を棚に戻すと、AIは返品されたと認識する。この時点で、購買したアイテムからこの商品が取り除かれる。店舗にはレジはなく、買い物が終わると顧客はそのまま店を出る。AIは顧客が購買したアイテムを把握しており、専用アプリに課金される。レシートはアプリに示され、顧客は購入した商品を確認できる。

システム概要

どういう手法でこれを判定するのか気になるが、Amazonはその技法については公開していない。Computer Vision (画像解析)とDeep Learning Algorithm (深層学習アルゴリズム) とSensor Fusion (異なる種類のセンサーを統合) を利用していると述べるに留まっている。

必要な機能

無人レジでは、顧客を特定する技術と、取り上げられた商品を特定する技術が必要となる。前者はComputer Visionで消費者を把握し追跡する。後者もComputer Visionで商品を特定する。更に、商品棚にはセンサー (重量計) が設置され、特定の商品が取り上げられたことを把握する。

顧客を特定する技術

前述の通り、店舗にはゲートが設置されており (下の写真)、ここでアプリのQRコードをかざすと、システムは利用者を把握する。天井に設置されているカメラが利用者を認識し、位置を特定する。これで顧客情報とその姿を紐づけることができる。店舗内で利用者が移動すると、天井に設置されたカメラがそれを追跡する。AIは利用者の顔認証は実施しない。顧客の姿の特徴量を把握し、これをキーに顧客をトラックする。

出典: Seattle Times

天井に設置されたカメラ

天井には数多くのカメラが設置されている (下の写真)。カメラはボックスに装着されている。このボックスはプロセッサーで、カメラが捉えたイメージの基礎的なAI解析を実行する。具体的には、人の存在の認識、利用者の特定と追跡、利用者の動作の意味を把握する。利用者が移動すると、別のカメラがこれをフォローする。更に、カメラは棚の商品を認識し、取り上げられた商品の名前を特定する。

出典: Seattle Times

商品棚とセンサー

商品棚 (下の写真) にはカメラと重量計が搭載されている。ただし、この写真からそれらを確認することはできない。消費者が取り上げた商品を商品棚のカメラが認識する。重量計が棚の重さを計測し、重量が減ると商品が取り上げられたと認識する。(システムは各商品の重さを認識しており、重量計は取り上げられた商品名を特定する機能があるとの意見もある。)

出典: Seattle Times

売り上げの特定

これら一連のデータはサーバに送信され、Deep Learning Algorithmが売り上げを推定する。そのロジックは次の通り。天井のカメラは利用者の位置を追跡し、特定の商品棚の前にいることを認識し、その挙動 (手を伸ばすなど) を捉える。その棚の商品が取り上げられたことをカメラと重量計で認識する。これら一連の情報をDeep Learning Algorithmで解析し、特定の消費者が特定の商品を取り上げたことを判定する。

AIが幅広いケースを学習

店舗での買い物は様々な状況が発生する。システムはDeep Learningの手法でこれらを学習していく必要がある。顧客は商品をバッグに入れるが、途中で気が変わり、それを別の棚に返品すことが多々ある。顧客は商品をバッグに入れるのではなく同伴している子供に手渡すケースもある (下の写真、右側)。一方、顧客が商品を取り上げて、それを別の顧客に手渡すケースもある (下の写真、左側、現在このケースは禁止されている)。アルゴリズムはこれらの事態を把握し、正しく会計処理ができるよう教育される。

出典: VentureClef

アルゴリズム教育プロセス

このため、Deep Learning Algorithmを教育し、顧客を認識する精度を高め、消費者の行動の意味を学習するプロセスが成否のカギを握る。教育を通じ、アルゴリズムは顧客が商品を手に取る、商品をバッグに入れる、商品を棚に戻すなどの行動の意味を高精度で推定できるようになる。この教育プロセスを実施するために、公開に先立ち、Amazon GoはAmazon社員を使ったトライアルが実施された。

開店が遅れた理由

Amazon Goは2016年12月に発表され、2017年初頭の開店を目指していた。しかし、公開は2018年1月と大きくずれ込んだ。開発が遅れた理由は公表されていないが、店舗が込み合っている時は、AIは売り上げを正しく判定できないためとされる。このためにカメラの台数を増やし判定精度を向上させた。Amazon Goの床面積は1,800平方フィート (167平方メートル) でここに100台ほどのカメラが設置されている。三畳間に一台のカメラが設置されている計算で、Amazon Goは多数のカメラでもれなく顧客をモニターする構造となる。

認識精度は

気になるAmazon Goの認識精度であるが、開店して一週間が経過するが、特に大きな問題は報告されていない。ただ、CNBCのレポーターが買い物をしたとき、ある商品 (Siggi’s Yogurt) が課金されなかったと報じている (下の写真)。一方、あるレポーターは店員さんの許可を得て、商品を”万引き”したが、店舗を出るとアプリに課金されていたと報告している。判定精度は実用に耐えるレベルに達していると思われる。また、このシステムは万引き防止にも役立つことも分かってきた。

出典: Deirdre Bosa

レジ無し店舗展開計画

AmazonはAmazon Goの展開計画については沈黙を守っている。ただ、開店したAmazon Goの品ぞろえを見ると、コンビニ形式の店舗となっている。食料品や日用品を中心に品ぞろえされ、顧客は少数点数を購買するパターンが目立つ。Amazon Goはオフィス街のコンビニとして運営されるとの噂もある。時間に追われている社員が、昼休みにサンドイッチと飲み物を手に取り、急いで店を出るケースなどが想定されている。Amazon Goではレジ待ちはなく、ランチ時間がちょっとリッチになり、社員の味方になるかもしれない。

Amazonは会話するAIの開発コンペティション「Alexa Prize」を開催した。目標は20分間会話できるチャットボットを開発することで、22か国から100を超える大学チームが技術を競った。初年度の2017年は、米国のUniversity of Washingtonが優勝した。

出典: Amazon

コンペティションの目的

AmazonがAlexa Prizeを始めた理由は、AIスピーカー「Echo」が目指している会話するAIを開発するためだ。AIの中で会話技法は極めて難しく、永遠に目標に到達できないという意見もある。AmazonはAlexaでこの技術を探求しているが、大学に参加を呼びかけ、若い頭脳によるブレークスルーを期待している。

Socialbotを開発

Amazonは会話するAIを「Socialbot」と呼んでいる。Socialbotとはチャットボットとも呼ばれ、AlexaのSkill (アプリに相当) に区分される。SocialbotはEchoを介し、幅広い話題で利用者と音声で会話する。話題としては、芸能、スポーツ、政治、ファッション、テクノロジーが対象で、人間とスムーズに対話が進むことがゴールとなる。

判定基準

参加大学はAmazonが提供するボイスアプリ開発環境 (Alexa Skills Kit) を使ってSocialbotを開発する。審査員がSocialbotと20分間会話し、会話能力を採点する。具体的には、Socialbotが話題に一貫性を持ち(Coherently)、相手を惹きつける(Engaging)能力などが評価される。但し、これはTuring Test (AIが人間のふりをする能力の試験) ではなく、あくまで会話能力が試される。

Socialbotと会話してみると

上位3チームのSocialbotは公開されており、Amazon Echoから会話することができる。実際に、Socialbotと話してみたが、技術は未完で会話はたどたどしい。しかし、Socialbotが話す話題は興味深く、話術も感じられ、会話に惹きつけられた。人間レベルに到達するにはまだまだ時間がかかるが、大きな可能性を秘めていることを実感した。

会話シーンのサマリー

優勝校のSocialbotとの会話は次のように進行した。Amazon EchoでSocialbotを起動すると、Socialbotは冒頭で挨拶 (「調子はどうですか？」) をしてから会話に入った。この技法は「Icebreaker」と呼ばれ、いきなり会話に入るのではなく、堅苦しさをほぐしてくれた。

興味ある話題を提示

ほぐれたところで、Socialbotは会話の話題を提示した。「休暇や人工知能や・・・の話をしましょうか？」。これは「Topic Suggestion」と呼ばれる技法で、相手の興味をそそる話題を提示する。Socialbotとは初対面なので、一般に受け入れられる話題が示された。

出典: Amazon

最新の面白い話題を紹介

この問いかけに「人工知能」と返答すると、Socialbotはとっておきの面白い話を聞かせてくれた。「Facebookは利用者が投稿する写真からその人の感情を推測するAIを開発している・・・」。これは「Knowledge Ingestion」という技法で、Socialbotは最新の話題を常に取り入れ、会話でうんちくを披露し相手を惹きつける。人間の会話と同じように、フレッシュな話題が相手を惹きつける。

意地悪な質問

これに対して少し意地悪な質問をした。「どういう仕組みなの？」と尋ねると、Socialbotはこちらの質問を復唱した。Socialbotが、こちらの質問を正しく理解していることが分かり、少し気持ちよく感じた。

掘り下げて説明

しかしSocialbotはこの質問には回答できなかった。「I ask myself the same question」と返答した。相手が興味を持っていることを掘り下げて説明することを「Deep Dive」という。Deep Diveすることで話が深くなり対話が進む。ただし、このシーンではうまくいかなかった。

対話をリードする

Socialbotはこれにもめげず、「人工知能の話を続けますか」と質問してきた。これは「Leading Conversation」と呼ばれる手法で、会話のトピックスを示し、対話をリードする。会話がとん挫しそうになったが、これに対し「Yes」と回答し、人工知能の話題がさらに続いた。

出典: Amazon

話題が展開する

その後、Socialbotは「クラウドの友人が興味深いアドバイスをしてくれたが、聞きたい？」と興味をそそる。「Yes」と答えるとその話を始めた。「過酸化水素が入ったホワイトニングを使って歯磨きしたあとは、数分間そのままでいると効果があるよ」と生活のコツを紹介してくれた。「この話より人工知能に興味ある」と言ったが、この発言は無視され、Socialbotはホンジュラスの大統領選挙の話を始めた。

全体の感想

こちらの発言を無視されると、Socialbotであると分かっているが、あまり快く感じない。また、会話の話題が急に変わると、どうしたのかと不安を覚える。まだSocialbotが人間のように会話できるとは言い難いが、会話の内容は興味深く、対話時間は13分に及んだ。20分がゴールであるので、まだ研究開発は続く。

システム構成

SocialbotはAmazonのボイスアプリ開発環境で開発された。学生チームは、Amazonが提供している音声認識 (Automatic Speech Recognition、声をテキストに変換) とスピーチ合成 (Text-to-Speech、テキストを声に変換) を使うことができる。こちらが喋った言葉をシステムが認識し、Socialbotの発言は聞きなれたAlexaの声となる。

会話技術の開発

チームはその中間の会話技術を開発し、その技量が試験される。スムーズに会話するのは勿論であるが、Socialbotの話術やキャラクターなども開発目標となる。Socialbotが興味深い話題を話すだけでなく、自分の主張を持ち意見を述べることも視野に入る。更に、相手の言葉に対してジョークで返答すると完成度がぐんと上がる。

来年に向けて

Amazon EchoやGoogle Homeの爆発的な普及で会話するAIがホットな研究テーマになっている。企業で開発が進むが、大学の研究にも期待がかかっている。自動運転車は大学間のコンペティションで開発が一気に進んだ。Alexa Prizeは2018年度も計画されており、会話するAIはどこまで人間に近づけるか、グランドチャレンジが続く。