カテゴリー別アーカイブ: 人工知能

AIが人の死亡時期を予測する、医師より正確で終末期医療で使われる

Deep Learningで人がいつ死ぬかを正確に予測できるようになった。アルゴリズムに医療データを入力すると、医師より正確に患者の死亡時期を算出する。AIに余命を宣告されるのは違和感を覚えるが、病院ではこれが重要な情報となる。

出典: Stanford Medicine

スタンフォード大学の研究

スタンフォード大学の研究チームは入院患者の余命をDeep Learningで予測する研究成果を発表した。論文「Improving Palliative Care with Deep Learning」によると、アルゴリズムは患者の余命を93%の精度で予測する。この研究成果は終末期医療を上手く運営するために使われる。現在は医師が終末期医療が必要な患者を選び出すが、余命を長めに推定する傾向が強く、多くの患者がケアを受ける前に亡くなっている。

Palliative Care

スタンフォード大学大学病院 (上の写真) は終末期医療を提供している。これはPalliative Care (パリアティブ ケア) と呼ばれ、余命一年以内の患者を対象とし、治療を進めるとともに本人の意思を尊重し、苦痛や不安を和らげる処置も取られる。Palliative Careは患者とその家族の生活の質を向上させることを目的にしている。

ケアを受ける患者

大学病院はPalliative Careを運営するものの、この治療が必要な患者を上手く特定できないという問題を抱えている。このケアが必要な患者とは余命が3か月から12か月の患者と定義している。このケアを受けるには前準備で3か月かかり、また、12か月を超えてケアを継続するには医師やナースの数が足らない。

医師による余命の算定

このため、担当医師が余命が3か月から12か月の患者を特定し、Palliative Careに移管する仕組みとなっている。しかし、多くのケースで担当医師は患者の余命を長めに予測する。そのため、患者の多くはPalliative Careを受けることなく死亡する。医師は患者の電子カルテのデータを参照し、今までの経験から余命を推定する。人間としての定めなのか、余命の算定は長めになる場合が多い。

患者データとアルゴリズム

このような背景のもとでDeep Learningによる余命算定の研究が進められた。アルゴリズム開発で、スタンフォード大学病院の患者データベース「Stanford Translational Research Integrated Database Environment」が使われた。これは患者の電子カルテ情報を集約したもので、アルゴリズム教育と検証に使われた。患者医療データをアルゴリズムに入力すると、死亡時期を算定する。具体的には、Deep Learningモデルは、患者が3か月から12か月以内に死亡するかどうかを判定 (Binary Classification) する。

アルゴリズム教育

アルゴリズム教育のために221,284人の患者のデータが使われた。この中には3か月から12か月の間に亡くなった患者(15,713人)と、12か月を超えて生存した患者(205,571人)が含まれている。これらのデータを使ってDeep Learningアルゴリズムを教育し、その結果が検証・試験された。

出典: Nigam H. Shah et al.

ネットワーク構造

アルゴリズムはDeep Neural Networkで、入力層と中間層 (18段) と出力層から成る。入力層は13,654のディメンション (13,654種類のデータを入力) で、出力層はスカラーで3-12か月の間に死亡する・しないを判定する。ネットワーク構造はトライアルエラーの方式で多くのモデルが試された。これはHyper-Parameter検索と呼ばれ、ネットワークの基礎となる構造 (ネットワークの段数やアクティベーションファンクションの種類など) を決めていく。

アルゴリズムの評価

完成したアルゴリズムは様々な角度から評価された。対象となる患者を判定する精度 (AUC) は0.93で (上の写真)、100人の患者を選ぶと93人が正しいということになる。また、評価指標として「Precision Recall」を示している。アルゴリズムのPrecision (精度) が0.9の時、Recall (範囲) は0.34をマークした。アルゴリズムの精度が0.9のとき、全対象患者の0.34をカバーするという意味になる。アルゴリズムは精度が高く病院で使えることを示している。

アルゴリズムの判定メカニズム

この研究ではアルゴリズムの精度だけでなく、アルゴリズムが判定した根拠を解析する試みが行われた。複雑な構造のネットワークを直接解析するのは難しいので、入力するデータのパラメーターを変更することで、アルゴリズムが判定した根拠を導き出した。つまり、アルゴリズムのブラックボックスを開けて、その仕組みを垣間見たことになる。

医学的な根拠は

入力データのパラメータを変更することで、患者の生存率を判定する要因を導いた。入力データの種類は、病状だけでなく、治療措置や検査回数など幅広い情報を含む。その結果、アルゴリズムが死亡時期を判定するときに重視した項目は、膀胱腫瘍、前立腺腫瘍、病理検体摘出措置、放射線検査回数などとなる。病気の種類で余命が決まることは直感的に理解できるが、アルゴリズムは病理検体が抽出されることやMRI検査などの回数から死亡時期を算出した。これ以上の説明はないが、MRI検査を頻繁に受けることは、ガンが転移していることの傍証になるのかもしれない。

米国でPalliative Careが広がる

米国内で多くの病院がPalliative Careの導入を進めている。2008年には病院の53%がこのケアを提供していたが、2015年には67%に増加している。Palliative Careを提供する病院が増えているものの、必要な患者の7-8%しかこのケアを利用していないという統計もある。このギャップは病院側のリソース不足に加え、上述の通り、担当医師が対象となる患者を正しく判定できないという問題がある。このため、Deep Learningなどテクノロジーの果たす役割が期待されている。

Apple WatchとAIを組み合わせ病気を判定、心拍数をニューラルネットで解析し心臓疾患と糖尿病を検知

Apple Watchは健康管理のウエアラブルとして人気が高い。Apple Watchは心拍数や歩行数を計測でき、日々の運動量を知ることができる (下の写真、一日の心拍数の推移)。いま、これらのデータをAIで解析し、病気を検知する研究が進んでいる。心臓疾患や糖尿病を高精度で検知でき、Apple Watchの役割が見直されている。消費者グレードのウエアラブルでも、AIと組み合わせれば医療機器になることが分かってきた。

出典: Apple

心拍数から病気を判定

この研究はCardiogramとカリフォルニア大学サンフランシスコ校 (UCSF) が共同で実施している。Cardiogramはサンフランシスコに拠点を置くベンチャー企業で、Apple Watchで測定した身体データを解析し、健康管理のためのアプリを提供している。UCSFはスマホなどを使い心臓疾患を予知し、病気発症を予防する研究「Health eHeart Study」を展開している。両者が共同し、Apple Watchで計測したデータをAIで解析することで、不整脈を検知できることを証明した。更に、同じ手法で、糖尿病、高血圧症、不眠症を検知できることを公表した。

DeepHeartアルゴリズム

Apple Watchは搭載しているセンサーで心拍数や歩行数などを測定する。Cardiogramはこれを解析するニューラルネットワーク「DeepHeart」を開発した。Apple Watchで収集した身体データを入力すると、DeepHeartは不整脈の一種である心房細動 (Atrial Fibrillation) を検知する。臨床試験の結果、97%の精度で心房細動を検知できたとしている。

糖尿病などの検知

これに続き、DeepHeartを使って糖尿病や高血圧症などを検知する研究が進められた。研究結果は論文「DeepHeart: Semi-Supervised Sequence Learning for Cardiovascular Risk Prediction」として公表された。これによると、Apple Watchで収集するデータをDeepHeartで解析することで、糖尿病、高血圧症、不眠症を検知することに成功。この研究では、14,011 人の被験者の2億件のデータが使われた。更に、UCSFの協力を得て、大学病院でこれら被験者を検査し医療データを収集した。

アルゴリズムの精度

Apple Watchで計測したデータと医療データを使いDeepHeartアルゴリズム (下の写真) を教育した。この結果、DeepHeartは85%の精度で糖尿病を判定する。また、不眠症は83%の精度で、高血圧症は81%の精度で判定できる。従来から、心拍数とこれらの病気の関係について、機械学習を使った研究が進んでいるが、DeepHeartはこれらに比べ精度が大幅に改善された。

出典: Johnson Hsieh et al.

DeepHeartのネットワーク構造

DeepHeartはConvolution層 (上の写真、下から二段目、シグナルを解析) とLSTM層 (上の写真、下から三段目、時間に依存するデータを解析) を組み合わせた構造をとる。このネットワークにApple Watchで収集したデータを時間ごとに入力する (上の写真、最下段)と、病気の有無を判定する (上の写真、最上段)。具体的には、時間ごとの歩行数と心拍数を入力すると、アルゴリズムはそれぞれのタイムステップで心房細動、糖尿病、高血圧症、不眠症の症状があるかどうかを判定する。

AIのスイートスポット

医療分野はAIとの相性が良く、患者のデータをニューラルネットワークで解析することで、様々な知見を得ることができる。このため、医療分野でAIの導入が急進し、ここがAIのスイートスポットとなっている。

医療データが少ない

しかし、医療分野独特の問題点も抱えている。それは、医療分野ではアルゴリズム教育に使うデータが極めて少ないことだ。DeepHeartの研究では、1万人余りの被験者が大学病院で問診に回答する形でデータを提供した。つまり、DeepHeartは1万件という少ないデータで病気を検知することが求められた。これに対し、画像認識アルゴリズム (Google Inceptionなど) を開発する際は100万件を超える教育データがそろっている。医療分野では数少ないデータでアルゴリズムを教育する技法が求められる。

Semi-supervised Sequence Learning

このためDeepHeartの開発で「Semi-supervised Sequence Learning」という技法が用いられた。これはネットワークを「Sequence Autoencoder」としてプレ教育する技法である。 Sequence Autoencoder (下のダイアグラム) とは、Recurrent Network (時間に依存する処理、下のダイアグラムの箱の部分) で構成されるネットワークで、入力シークエンス (左半分) を読み込み、その結果をベクトル量としてパラメータに格納する。次に、学習したパラメータから、ネットワークは入力シークエンスを再現 (右半分) する。具体的には、言葉の並び (W, X, Y, Z, eos) をSequence Autoencoderに入力すると、ネットワークはその順序を学習し、それに従って言葉の並びを出力する。

出典: Andrew M. Dai et al.

DeepHeartをプレ教育する

研究では、DeepHeartをSequence Autoencoderとしてプレ教育し、獲得したパラメータをネットワークの初期値として使った。こうすることでの教育プロセスが効率化され、少ない医療データでDeepHeartを教育できる。医療データが1万件と少なくても、DeepHeartの判定精度を高めることができた。

医学的な根拠

そもそも心拍数が糖尿病や高血圧症や不眠症とどう関係するのか、医学の観点からの研究も進められてきた。心臓は神経細胞を通し、多くの臓器とつながっている。このため、HRV (Heart Rate Variability) と病気の間に関係があると指摘されている。HRVとは心拍リズムの乱れを示す指標である。人は落ち着いている時は心拍リズムは一定でなくHRVは高い。しかし、ストレスがかかると心拍数が上がり、心臓が規則正しく鼓動しHRVが低くなることが分かっている。

心拍リズムと糖尿病

このためHRVと病気の関係についての研究が進められてきた。HRVと糖尿病の関係は「Diabetes, glucose, insulin, and heart rate variability: the Atherosclerosis Risk in Communities (ARIC) study」として発表されている。この論文はHRVの低下と初期の糖尿病の間に関係があると結論づけている。Cardiogramはこの研究成果に基づきDeepHeartを開発した。

ロードマップ

DeepHeartはApple Watchで計測するデータを使い、不整脈、糖尿病、高血圧、不眠症を検知できることを証明した。Cardiogramは次のステップとして、これら疾病を検知した利用者に対し、治療法を提示することを計画している。アプリは病気の症状があることを検知すると、これら患者に対し、医療機関で証明された対処方法を提示す。アプリが病院の医師に代わり診断し、対処療法を示す構想を描いている。

出典: VentureClef

Apple WatchとAIの組み合わせ

Apple Watchは人気のウエアラブルであるが、売り上げ台数は当初の見込みを下回っている。理由はセンサーの精度が高くないことで、Apple Watchの健康管理機能は限定的との評価が広がっている。(上の写真、Apple Watchで測定した筆者の心拍数、一目でエラーと分かる箇所が多い。) しかし、Apple WatchにAIを組み合わせることで、病気を高精度で検知できることが示された。Apple Watchで糖尿病と診断されるのは怖いが、早期に病気の兆候を見つけ、病気を克服するという使い方もでてくる。AIを組み合わせることでApple Watchの役割が大きく変わり、医療デバイスとして再出発する気配を感じる。

次期大統領選挙の争点はベーシックインカム、AIに仕事を奪われる大失業時代の政策が問われる (2/2)

AIの急速な進化で自動化が進み、労働者の職が奪われるケースが急増している。アメリカ経済は成長を続けるが、富が富裕者層に局在し、社会格差が広がっている。2015年には米国製造業で400万人が職を失い、2030年には全労働者の1/3が失業するといわれている。資本主義の矛盾をどう解決すべきか、ベーシックインカムの議論が広がっている。2020年の大統領選挙ではベーシックインカムが重要な争点となりそうだ。更に、失業を生み出すAI企業の責任も問われることになる。(前半から続く)

出典: Google

シリコンバレーで賛同が広がる

シリコンバレーでもベーシックインカムの議論が活発になっている。この背景には、ハイテク企業が生み出すAIが労働者の雇用を奪う大きな要因となり、企業経営者はその責任の一部を負うべきとの考え方があるためだ。ハイテク企業経営者を中心にベーシックインカム導入を支持する声が高まり、シリコンバレーでその実証試験が始まった。ベーシックインカムが問題を解決する切り札になるのか、データサイエンスの手法でその検証が始まった。

オークランドでの実証実験

著名ベンチャーキャピタルY Combinatorはベーシックインカムの予備試験を実施した。サンフランシスコ対岸のオークランド (上の写真) で100家族を選び、毎月1000ドルの現金を支給した。受給者は受け取ったお金を自由に使うことができる。予備試験は2016年9月から2017年末まで実施された。

全米で本試験を実施

この予備試験に続き、Y Combinatorは規模を拡大した本試験を展開する。二つの州で1000人を選定し、今年から5年にわたり毎月1000ドルを支給する。このグループと受給を受けない一般のグループを比較し、受給者の行動特性や健康状態を解析する。具体的には、受給者の時間の使い方、健康管理、財政状況、意思決定のパターン、政治に関する偏向などを調査する。これらの情報がベーシックインカムを制度化するための基礎データとなる。

実証試験の意味

Y Combinatorがこのプログラムを実施する理由は社会システムの歪みを補正するため。米国において貧困者層が急増し、中間層が減少し、社会格差が拡大している (下のグラフ、富裕層10%がその他90%の収入を上回る)。これにより米国で政治対立が先鋭になり (極右団体と極左団体の拡大)、地域社会が分裂する (ジェントリフィケーション) など、社会全体が不安定になっている。

出典: Y Combinator / Piketty, Saez, Zucman (2016)

ベーシックインカムを科学的に分析

AIを中心にテクノロジーがこの流れを加速している。このため社会格差を緩和するためにベーシックインカムの議論が高まっている。しかし、その有効性を議論するための科学的なデータはなく、施策は進んでいないのが実情である。このプログラムの目的はベーシックインカムを科学的に解析し基礎データを収集することにある。

ストックトンでも実証実験が始まる

シリコンバレー郊外のストックトンはベーシックインカムの導入を決定し、試験運用が間もなく始まる。同市は長年にわたる財政規律の緩みで、2012年に財政破産を宣告した。今は新市長のもとで、革新的手法を取り入れ、経済の立て直しを図っている。この一環で、市は2018年8月から、ベーシックインカム研究プログラムを開始する。100人の市民を選び毎月500ドルを3年間支給する。研究プログラムの目的は、受給者の生活や健康を追跡調査することで、これら基礎データがベーシックインカムを制度として導入する際の参考情報となる。

ベーシックインカム研究所

この研究プログラムは非営利団体「Economic Security Project」と共同で実施されている (下の写真)。この団体はFacebook創設者のひとりChris Hughesが設立し、ベーシックインカムの基礎研究を担っている。Economic Security ProjectはAIによる自動化やグローバリゼーションが社会格差を生んでいると認識する。米国経済は好調で巨大な富が蓄積されるが、低所得者層はその恩恵にあずかることができない。中間層は上に昇ることができず、将来への不安が高まる。この問題を解決するためにベーシックインカムの手法が有効であるかどうかを研究する。

出典: Stockton Economic Empowerment Demonstration

アメリカ国民の意見

社会格差が拡大する中、AIやベーシックインカムを米国人はどう受け止めているのか、興味深い調査結果が発表された。これはGallupとNortheastern Universityの共同研究で、アメリカ人成人3,297人へのアンケート調査を解析した結果である。これによると、米国人はAIに対して好意的な印象を持っている(76%)。しかし、同時にAIの導入により職が奪われるとも感じている(73%)。米国人はAIをポジティブに評価しているものの、同時に、AIが仕事を奪うと懸念している姿が浮かび上がる。

AI企業の責任

ベーシックインカムについては、アメリカ人の半数 (48%) が必要と考えている。AIに仕事を奪われるため、ベーシックインカムがセーフティーネットとして必要であると考える。しかし、ベーシックインカムの財源をどこに求めるかについては際立った特徴を示している。増税などによる国民への負担が増えることには反対で、多くの人 (80%) はAIで利益を得たハイテク企業が負担すべきと考えている。AI企業は失業対策で大きな社会的責任を持つべきとの考え方が主流となってきた。

Facebookは導入を支持

この流れを肌で感じているシリコンバレー経営者はベーシックインカムの必要性を相次いで表明している。Facebook最高経営責任者Mark Zuckerbergは講演の中で、ベーシックインカムの導入が必要との考えを示した。Zuckerbergは社会の新ルールを作る必要があるとし、人は収入ではなく仕事の意味で評価されるべきとの持論を展開。新社会では仕事に失敗しても生活できる社会構造が必要と述べ、ベーシックインカムの導入を支持している。

Microsoftはユートピア論を展開

Microsoft創設者Bill GatesはAIの社会に及ぼすインパクトに関し特異な見解を持っている。世界経済フォーラムの会場でこれを表明した (下の写真)。AIは既に社会に入りこみ、多くの人の職を奪っている。しかし、AIは人間より効率的に仕事をこなし、多くの富を生みだしている。これにより人間は労働時間を減らすことができ、空いた時間を好きなことに費やすことができる。つまり、GatesはAIは人間にユートピアを提供すると予測している。

出典: CNBC

理想郷にソフトランディングするために

同時に、AIは社会に浸透する速度が速く、世の中がこの流れに追随できないことが問題だと指摘する。このため、政府は社会保障制度を見直しベーシックインカムを導入し、失業者を再雇用するための教育プログラムの拡充も求められる。政府の施策が上手く機能し、近未来のAI社会にソフトランディングできれば、我々の未来は明るいとしている。

トランプ政権は無関心

トランプ政権はベーシックインカムを支持すると期待されていたが、それとは逆の方向に進んでいる (下の写真)。そもそもトランプ政権はAIやロボットの導入で失業者が増えるとの認識は薄い。米国製造業の雇用はメキシコや中国などが奪うとの信念に基づいて政策が立案されている。このためNAFTAやTPPから脱退し、各国と契約条件の見直しを進めている。AIやベーシックインカムに関する議論はなく、政策で真空状態が続いている。米国では連邦政府に代わり、上述の通り、地方政府やハイテク企業がこの政策をリードしている。

AIでどれだけの職が失われるか

では、AIやロボットなど自動化技術の導入でどれだけの職が奪われるのか、多くの統計データが公表されている。世界経済フォーラムは2020年までに710万人の職が失われ、200万人の職が生み出されるとみている。McKinseyは2030年までに失われる職の数を最大8億人と推定。独立系メディアMother Jonesは、2040年までに全職業の半数がAIに置き換わり、2060年までにすべての仕事はAIに置き換わると予測している。ブルーカラー労働者だけでなく、医師、新聞記者、会社経営者、科学者、芸術家など全職業がAIに取って代わられる。

出典: White House

AI企業の新たな使命

多くのシンクタンクが予測するように、AIによるインパクトは甚大で、大失業時代が到来する。これに備えてベーシックインカムの議論が進み、実証実験による科学的な検証が始まった。同時に、失業を生み出すAI企業の責任をどう査定するかの議論も始まった。温暖化ガスを排出する企業に税金を課すように、失業を生み出すAI企業へ応分の負担を求めることが国民世論となってきた。既に多くのAI企業は良き市民として社会責任を果たすべく活動を展開している。今後は、社会格差や失業問題への対応求められ、これらがAI企業の新たな使命となる。

次期大統領選挙の争点はベーシックインカム、AIに仕事を奪われる大失業時代の政策が問われる (1/2)

AIの急速な進化で自動化が進み、労働者の職が奪われるケースが急増している。アメリカ経済は成長を続けるが、富が富裕者層に局在し、社会格差が広がっている。2015年には米国製造業で400万人が職を失い、2030年には全労働者の1/3が失業するといわれている。資本主義の矛盾をどう解決すべきか、ベーシックインカムの議論が広がっている。2020年の大統領選挙ではベーシックインカムが重要な争点となりそうだ。更に、失業を生み出すAI企業の責任も問われることになる。

出典: yang2020

ベーシックインカムとは

ベーシックインカム (Universal Basic Incomeと呼ばれる) とは、社会保障の一種であるが、従来の失業保険などとは異なり、全ての国民に一律にお金を支給する制度を指す。受取のための条件はなく、毎月一定額の金額が支給される。受け取ったお金の使途の制限も無く、受給者が自由に使うことができる。ベーシックインカムの構想は50年ほど前から議論されてきたが、AIによる失業問題が拡大する中、再び注目されている。

大統領選挙に向けた動き

トランプ大統領が就任して一年余りたつが、既に次期選挙に向けた動きが活発化している。民主党 (Democratic Party) からは起業家のAndrew Yangが立候補を表明した。Yangは自動化による失業者を救済することを公約のトップに掲げキャンペーンを展開している (上の写真)。大失業時代の対策としてベーシックインカムの導入が必要であると主張する。

毎月1000ドル受け取る

Yangは選挙サイトにベーシックインカム導入の意味やその具体的な政策を示している。それによると、毎月1000ドルを18歳から64歳までの米国国民に一律に支給する。支給条件はなく、収入に関わらず誰でも毎月1000ドルを受け取る。生活保護を受けている人は、これを延長するか、又は、ベーシックインカムを選択できる。65歳以上は国民年金 (Social Security) を受け取ることになる。国民医療保険 (MedicareとMedicaid) はそのまま存続する。これ以外の保護政策はなく、月額1000ドルがセーフティーネットとなり生活を下支えする。

ベーシックインカムが必要な理由

AIやロボットの導入で米国製造業で既に400万人の職が失われた (下の地図、赤い部分Rust Beltに集中している)。自動運転車の導入でトラック運転手350万人の職が失われると予測される。Yangは単純労働作業や危険な職種は自動化すべきだとし、AIやロボットが社会に入ることを歓迎している。一方、これによる失業者が最低限の生活をするために、ベーシックインカムを導入する。更に、失業を生み出すAIやロボット企業は応分の負担をすべきだと考えている。

出典: Wikipedia

財源をどこに求めるか

ベーシックインカムを導入すると年間2兆ドルの歳出となり、米国国家予算 (4.1兆ドル、2018年度予算教書) の半分を占める。Yangはベーシックインカムの財源をValue-Added Tax (VAT、付加価値税) に求めるとしている。米国で新たにVATを導入し税率を10%とする。VATとは企業が生み出す製品やサービスに課税する税で、企業は税を回避することが難しくなり、公平に課税できる点が評価される。欧州では幅広く導入されているが、米国では使われておらず、地方政府がSales Tax (売上税) として徴収している。

効果はあるのか

最低の生活が保障されると人は働かなくなるとの議論があるが、Yangはベーシックインカムを導入することで勤労意欲が増すとしている。現在の社会保障制度は受給者が収入を得ると支給が停止され、これが勤労意欲を減らす原因と指摘する。ベーシックインカムは収入に関係なく一律に支給され、最低限の生活ができ、仕事が見つかると収入が増える。また、大学で学びなおし新しいキャリを目指す人も増える。更に、起業家のように独立して事業を始める人が増えるとも述べている。

オバマ大統領などが支持

多くの政治家がベーシックインカム導入を積極的に検討している。オバマ前大統領は在任中、AIやロボット開発を推進したが、同時に、これにより富が富裕層に局在することを懸念していた。今後、10年から20年後には、お金を配布する仕組みの導入が必要と述べ、ベーシックインカムの導入が必須であるとの見方を示した。ヒラリー・クリントン候補は大統領選でベーシックインカム導入を公約とはしなかったが、この仕組みに共感していたと伝えられる。

(後半に続く)

レジ無し店舗「Amazon Go」の運用が始まる、AIが売り上げを把握する仕組みとは

Amazonは2018年1月、レジ無し店舗「Amazon Go」の運用を開始した (下の写真)。一般顧客がAmazon Goで買い物をできるようになった。店舗内で顧客が取り上げた商品はAIが自動で認識し、専用アプリに課金される。店舗にはレジはなく、顧客は取り上げた商品を持ってそのまま店を出ることができる。謎が多いAmazon Goであるが、ニュース記事やツイッター記事を読むとその概要が見えてきた。

出典: Amazon

AIが購入を判断

Amazon Goは専用アプリで利用する。店舗に入る際にアプリを起動し、表示されたQRコードをリーダーにかざすと、ゲートのバーが開く。店舗内では、商品を手に取り、買いたいものを自分のバッグに入れる。商品点数が少なければ手で持つこともできる。AIは顧客が商品を取り上げた時点で購買したと判定する。

AIは返品も認識

しかし、気が変わり顧客が商品を棚に戻すと、AIは返品されたと認識する。この時点で、購買したアイテムからこの商品が取り除かれる。店舗にはレジはなく、買い物が終わると顧客はそのまま店を出る。AIは顧客が購買したアイテムを把握しており、専用アプリに課金される。レシートはアプリに示され、顧客は購入した商品を確認できる。

システム概要

どういう手法でこれを判定するのか気になるが、Amazonはその技法については公開していない。Computer Vision (画像解析)とDeep Learning Algorithm (深層学習アルゴリズム) とSensor Fusion (異なる種類のセンサーを統合) を利用していると述べるに留まっている。

必要な機能

無人レジでは、顧客を特定する技術と、取り上げられた商品を特定する技術が必要となる。前者はComputer Visionで消費者を把握し追跡する。後者もComputer Visionで商品を特定する。更に、商品棚にはセンサー (重量計) が設置され、特定の商品が取り上げられたことを把握する。

顧客を特定する技術

前述の通り、店舗にはゲートが設置されており (下の写真)、ここでアプリのQRコードをかざすと、システムは利用者を把握する。天井に設置されているカメラが利用者を認識し、位置を特定する。これで顧客情報とその姿を紐づけることができる。店舗内で利用者が移動すると、天井に設置されたカメラがそれを追跡する。AIは利用者の顔認証は実施しない。顧客の姿の特徴量を把握し、これをキーに顧客をトラックする。

出典: Seattle Times

天井に設置されたカメラ

天井には数多くのカメラが設置されている (下の写真)。カメラはボックスに装着されている。このボックスはプロセッサーで、カメラが捉えたイメージの基礎的なAI解析を実行する。具体的には、人の存在の認識、利用者の特定と追跡、利用者の動作の意味を把握する。利用者が移動すると、別のカメラがこれをフォローする。更に、カメラは棚の商品を認識し、取り上げられた商品の名前を特定する。

出典: Seattle Times

商品棚とセンサー

商品棚 (下の写真) にはカメラと重量計が搭載されている。ただし、この写真からそれらを確認することはできない。消費者が取り上げた商品を商品棚のカメラが認識する。重量計が棚の重さを計測し、重量が減ると商品が取り上げられたと認識する。(システムは各商品の重さを認識しており、重量計は取り上げられた商品名を特定する機能があるとの意見もある。)

出典: Seattle Times

売り上げの特定

これら一連のデータはサーバに送信され、Deep Learning Algorithmが売り上げを推定する。そのロジックは次の通り。天井のカメラは利用者の位置を追跡し、特定の商品棚の前にいることを認識し、その挙動 (手を伸ばすなど) を捉える。その棚の商品が取り上げられたことをカメラと重量計で認識する。これら一連の情報をDeep Learning Algorithmで解析し、特定の消費者が特定の商品を取り上げたことを判定する。

AIが幅広いケースを学習

店舗での買い物は様々な状況が発生する。システムはDeep Learningの手法でこれらを学習していく必要がある。顧客は商品をバッグに入れるが、途中で気が変わり、それを別の棚に返品すことが多々ある。顧客は商品をバッグに入れるのではなく同伴している子供に手渡すケースもある (下の写真、右側)。一方、顧客が商品を取り上げて、それを別の顧客に手渡すケースもある (下の写真、左側、現在このケースは禁止されている)。アルゴリズムはこれらの事態を把握し、正しく会計処理ができるよう教育される。

出典: VentureClef

アルゴリズム教育プロセス

このため、Deep Learning Algorithmを教育し、顧客を認識する精度を高め、消費者の行動の意味を学習するプロセスが成否のカギを握る。教育を通じ、アルゴリズムは顧客が商品を手に取る、商品をバッグに入れる、商品を棚に戻すなどの行動の意味を高精度で推定できるようになる。この教育プロセスを実施するために、公開に先立ち、Amazon GoはAmazon社員を使ったトライアルが実施された。

開店が遅れた理由

Amazon Goは2016年12月に発表され、2017年初頭の開店を目指していた。しかし、公開は2018年1月と大きくずれ込んだ。開発が遅れた理由は公表されていないが、店舗が込み合っている時は、AIは売り上げを正しく判定できないためとされる。このためにカメラの台数を増やし判定精度を向上させた。Amazon Goの床面積は1,800平方フィート (167平方メートル) でここに100台ほどのカメラが設置されている。三畳間に一台のカメラが設置されている計算で、Amazon Goは多数のカメラでもれなく顧客をモニターする構造となる。

認識精度は

気になるAmazon Goの認識精度であるが、開店して一週間が経過するが、特に大きな問題は報告されていない。ただ、CNBCのレポーターが買い物をしたとき、ある商品 (Siggi’s Yogurt) が課金されなかったと報じている (下の写真)。一方、あるレポーターは店員さんの許可を得て、商品を”万引き”したが、店舗を出るとアプリに課金されていたと報告している。判定精度は実用に耐えるレベルに達していると思われる。また、このシステムは万引き防止にも役立つことも分かってきた。

出典: Deirdre Bosa

レジ無し店舗展開計画

AmazonはAmazon Goの展開計画については沈黙を守っている。ただ、開店したAmazon Goの品ぞろえを見ると、コンビニ形式の店舗となっている。食料品や日用品を中心に品ぞろえされ、顧客は少数点数を購買するパターンが目立つ。Amazon Goはオフィス街のコンビニとして運営されるとの噂もある。時間に追われている社員が、昼休みにサンドイッチと飲み物を手に取り、急いで店を出るケースなどが想定されている。Amazon Goではレジ待ちはなく、ランチ時間がちょっとリッチになり、社員の味方になるかもしれない。