作成者別アーカイブ: nad00251

AIによる世論操作は国家安全保障の危機、米国国防省はニューラルネットワークでフェイクビデオの検知に成功

AIが現実と見分けのつかない偽のビデオを生成し、社会を混乱させている。これはフェイクビデオと呼ばれ、世論操作のために使われ、米国中間選挙への影響が懸念されている。米国国防省はAIを悪用した情報操作を安全保障への挑戦と捉え、フェイクビデオを検知する技術の開発を急いでいる。

出典: BuzzFeed

フェイクビデオとは

フェイクビデオとは悪意を持って改造されたビデオで、AIが現実に存在しない映像をリアルに描き出す。オバマ前大統領が演説しているフェイクビデオが登場した(上の写真)。これはAIが生成した映像で、どこから見ても本物そっくりで、もう仮想と現実の区別がつかない。これらフェイクビデオがFacebookやYouTubeなどに掲載され、偽の情報を拡散し、有権者の心を揺さぶる。

Adobe Photoshopを悪用しても

フェイクビデオ製作は今に始まった事ではなく、早くから登場している。編集ツールAdobe Photoshopなどを使うと、写真を改造したり、巧妙な偽ビデオを制作できる。しかし、編集は手作業で、精巧なフェイクビデオを作るには技量を必要とする。更に、10秒の短いビデオを制作するにも250枚のイメージを処理する必要があり、膨大な作業が発生する。このため、偽ビデオが大量に制作されることはなかった。

DeepFakeを使うと

しかし、AIを駆使したフェイクビデオ作製ツールが登場し、偽ビデオを作る作業が格段に簡素化された。このツールは「DeepFake」と呼ばれ、ビデオの中に登場する人物の顔を、別の顔と置き換える。このツールを使うと誰でも簡単に、顔をスワップした偽のビデオを制作できる。例えば、女優Jennifer Aniston (下の写真左側、オリジナル写真)の顔を、男優Nicolas Cage(中央)や歌手Taylor Swift(右側)で置き換えることができる。このツールの登場でフェイクビデオが大量に生成され、深刻な社会問題を引き起こした。

出典: Iryna Korshunova et al.

検知技術が追い付かない

フェイクイメージを検知するには、写真をピクセルレベルで解析し、ノイズやイメージセンサー特性などを手掛かりに、偽物を見つける。また、光の当たり具合や影のでき方など、物理的な条件を手掛かりに偽造を検知してきた。しかし、AIが生成するフェイクイメージは精巧で、これら従来の検知手法では偽造を見抜くことができない。

AIを使った検知技術

このため、米国国防省が主導してフェイクビデオを検知する研究が進められてきた。先月、最初の研究成果が登場し、その概要が論文「Exposing AI Generated Fake Face Videos by Detecting Eye Blinking」として公開された。この技術は「In Ictu Oculi (瞬きの間に)」と呼ばれ、瞬きからフェイクビデオを検知する。この技法はニューヨーク州立大学のSiwei Lyu教授らにより開発された。DeepFakeで生成された人物は殆ど瞬きをしないという特性を掴み、これをAIで解析して偽物を検知する。AIを悪用して生成されたフェイクビデオをAIで見抜く手法である。

検知方法

開発されたAI(ニューラルネットワーク)は、ビデオを解析し、ある時間内に人物が瞬きしたかどうかを判定する。ニューラルネットワークを試験するために、実際にフェイクビデオを生成し、その機能を検証した(下の写真)。上段はオリジナルビデオで、ニュース解説者Tucker Karlsonが喋っているシーンで、下段はこれを男優Nicolas Cageの顔で置き換えたフェイクビデオ。これら二つのビデオをニューラルネットワークに入力すると、上段ビデオは6秒のうち1回瞬きをしたと判定。一方、下段ビデオはまったく瞬きをしなかったと判定。人は平均で3.5秒おきに瞬きする。瞬きの回数からアルゴリズムは下段をフェイクビデオと判定した。

出典: Siwei Lyu et al.

その他のシグナル

検知技術は瞬きだけでなく、人間の生理学特性に着目し、不自然な動きを検知する。瞬きの他に、呼吸、心拍、眼の動きなどを解析し、フェイクビデオを検知する。人間は無意識のうちに呼吸し、これが体の動きとして現れる。AIはこのような身体特性を把握してフェイクビデオを特定する。この研究はその一端を公開したもので、フェイクビデオ開発者に手掛かりを掴まれることを避けるため、その他の手法は秘密裏に開発されている。DeepFakeはこれら人間固有の動作を取り入れることができず、ここがリアルとフェイクを見分けるポイントとなる。

国家プロジェクト

この研究はアメリカ国防高等研究計画局 (DARPA)配下で実施された。DARPAはイメージやビデオの信ぴょう性を解析する研究を進めている。これはMedia Forensics (MediFor)と呼ばれ、2016年にスタートした。市場でスマホが普及し、写真やビデオの量が増え、それに伴いイメージ改造技術が向上した。精巧な偽造イメージが登場し、何が本物なのかを判定できなくなった。更に、DeepFakeの登場でフェイクビデオ技術が格段に向上し、国家安全保障を揺るがす事態となった。

AI同士の知恵比べ

DARPAの最初の成果がIn Ictu Oculiで、瞬きの回数を手掛かりに、フェイクビデオを見抜くことができた。防衛技術がDeepFakeに勝利したこととなる。一方、DeepFakeなど攻撃側は、瞬きの回数を取り込み、より精巧なフェイクビデオを生成することは間違いない。これからは、検知技術のAIとフェイクビデオを生成するAIの知恵比べとなる。今回の研究成果はその第一歩で、これからフェイクビデオ対策の長い戦いが始まる。

Google DeepMindはAIのIQを測定、ニューラルネットワークは知能を持ち人間になれる

Google DeepMindが開発したAlphaGoは囲碁のチャンピオンを破り世界を驚かせたが、本当に賢いのか疑問の声が上がっている。AlphaGoはニューラルネットワークで構成され、この技法を究めれば人間のような知能を手にできるのかも問われている。

出典: DeepMind

AIは知能を持つ

ニューラルネットワークは単に統計処理のアルゴリズムで、この道を進んでも知能を持つことはできない、との意見が少なくない。今の人工知能は人工無能と揶揄されるゆえんである。これに対し、DeepMindはAIのIQテストを実施し、ニューラルネットワークは一定の知能があることを突き止めた。ニューラルネットワークを改良すると、人間のように推論できる汎用的な知能を得ることができるとDeepMindは主張する。

ニューラルネットワークのIQテスト

DeepMindはニューラルネットワークのIQテストを実施した。この試験で、ニューラルネットワークは人間のように推論(Abstract Reasoning)できるかが試される。ニューラルネットワークで人間レベルの知能を目指すには、まず、今のAIの知能指数を把握する必要がある。(上の写真、IQテストのサンプルでAIが質問に答えていく。上段パネルの空白部分の答えをAからHの中から選ぶ。答えはA。円の数は左から右に向かい一つずつ増加。これはProgressionという概念を試験するもの。)

知能とは

知能(Intelligence)とは人間が持つ高度な能力で、論理的思考、自己認識、学習能力、推論能力、創造性など、幅広い要素から構成される。AIが知能を備えるためには、この中で推論機能が最初のステップとなり、ニューラルネットワークは推論機能を備えているかがカギとなる。知的なAIを開発するためには、いまのニューラルネットワークが抽象的概念をどの程度理解できるかを把握する必要がある。

IQテストの意味

DeepMindはこの目的で、ニューラルネットワークの知能指数を計測するIQテストを開発した。IQテストは経験から学習したことを図形などを使って視覚的に試験する。例えば、人はモノが進化する様子を経験的に学習する。庭で花が咲く様子を観察し、教室では数学の時間に数が増える概念を教わる。これらはProgressionという概念で、IQテストはこれをゲーム形式に展開し、被験者がこの概念をどれだけ応用できるかが試される。

IQテストの実例

実際の試験ではRaven-style Progressive Matricesという方式のIQテストが使われた(下の写真)。これは1960年代に開発されたもので、言葉ではなく図形を使い、生徒の知能(Fluid Intelligence)を試験する。これをニューラルネットワークに適用し、AIの知能を測定する。この試験ではProgressionの他に、XOR(排他的論理和)、OR、AND、Consistent Unionなど異なる概念が試験された。(下の写真左側:Progressionの試験。答えはA。星の数は上から下に向かい増える。下の写真右側:XORの試験。答えはA。左二つのパネルをXORで演算した結果を右端のパネルに表示。)

出典: David G.T. Barrett et al.

試験方式

人間のIQテストは、我々が日々の生活で学習したことが試験される。しかし、AIは社会に接することはなく、人間のように学習する機会はない。このため、AIのIQテストでは、ニューラルネットワークをあるテストセットで教育し、別のテストセットで試験した。ニューラルネットワークが一つのテストセットで学習した知識を別のテストセットで生かすことができるかが試験された。

試験結果

試験では代表的なニューラルネットワーク(ResNetやLSTMなど)が使われ、それらの知能指数が計測された。更に、DeepMindはこの試験のために知的なニューラルネットワーク「Wild Relation Network (WReN)」を開発し、このモデルの知能指数を計測した。ニューラルネットワークは異なる条件で試験され、IQテストの正解率が示された。ニューラルネットワークの中でWReNが最もいい成績を収めた。WReNの正解率は76.9%で一定のインテリジェンスを持つことが示された(下のテーブル、最上段)。このケースでは教育と試験において同じテストセットが使われた。

出典: David G.T. Barrett et al.  

データセットが異なると

しかし、教育データと試験データが異なると、ニューラルネットワークの正解率は大幅に低下した。データが異なるとは、黒色のオブジェクトで教育し、白色のオブジェクトで試験する場合などを指す(先頭のIQテストにおいて、黒丸を白丸に変えて試験するケース)。この場合は正解率が13.0%と大きく下がり(上のテーブル、下から二段目)、ここがニューラルネットワークの弱点であることが分かった。人間だとオブジェクトの色や形状が変わっても数をカウントできるが、ニューラルネットワークは属性の変化で推論の過程が混乱する。

試験結果の解釈

DeepMindはこの研究を通して、ニューラルネットワークは抽象的な推論を学び、それを問題に適用する一定の機能があることを示した。ネットワークはピクセルから抽象的な概念が存在することを推論することができた。一方、ニューラルネットワークは実社会との接触はなく、限られたデータで教育されれるため、推論機能は限定的であることも分かった。つまり、知的なAIを開発するためには、人間社会との交わりが必須であることを示唆している。

次のステップ

DeepMindの目的は汎用的な知能を持つAIを開発することで、ニューラルネットワークが学んだことを幅広く適用することがゴールとなる。このために、WReNがIQテストで解を求める仕組みを解明することが次の研究ステップとなる。DeepMindは知能指数の高いAIを開発するコンテストを計画している。これは抽象類推コンテスト「Abstract Reasoning Challenge」と呼ばれ、高度な推論機能を持つAIをコミュニティと供に研究を進める。

二つの考え方

AI研究の次の目標は人間に匹敵する抽象推論(Abstract Reasoning)機能を持つマシンの開発にある。Facebook AI研究所所長のYann LeCunは、ニューラルネットワークを改良することで、推論や抽象事象を学習できるとの前提で研究を進めている。一方、New York UniversityのGary Marcus教授は、ニューラルネットワークを突き進めても壁に当たり、一般的な抽象推論機能を持つことはできないと主張する。DeepMindは前者の陣営に属し、ニューラルネットワークをベースとする知的なAIの開発を進めている。

WaymoがUberを置き換える、自動運転車の四つの事業形態

Waymoは自動運転車の営業運行を目前に控え、事業形態を明らかにした。事業は、無人タクシー、無人トラック、無人乗用車、無人公共交通の四つの柱から構成される。無人タクシーについては、既に実証実験が始まっている。無人トラックの試験走行も始まり、また、自動運転車を直接消費者に販売する計画も明らかにした。更に、Waymoは無人公共交通について、住民のラストマイルを支える交通網とする事業モデルを発表した。

出典: Google

無人公共交通

Waymoは2018年7月、アリゾナ州フェニックスの公共交通機関「Valley Metro」と提携し、自動運転車で交通網を構成すると発表した(上の写真)。Valley Metroはバスや路面電車を運行しており、Waymo自動運転車が自宅とバス停や電車の駅を結ぶ移動手段となる。Waymoが住民のラストマイルを支える交通手段を提供する。

ラストマイル

この背景には、都市開発で交通網の整備が進むものの、それを有効に利用できていないことがある。フェニックスでは自宅とバス停や電車駅までの距離が長く、これが公共交通機関を利用するときの障害となっている。このギャップを効率的に埋める輸送機関が求められ、Waymo自動運転車がこの任務を担う。

効果の検証

当面は試験運用として、Valley Metro従業員を対象に、自宅から近くの交通機関まで送迎する。従業員はWaymoアプリを使い、Uberを使う要領で、クルマをリクエストすると無人タクシーが配車され、近くの駅まで送り届けられる。更に、このサービスを高齢者や体の不自由な人に拡充する。試験運用で有効性が確認されると、一般住民を対象としたサービスに進む。

無人タクシー

Waymoはフェニックスで自動運転車の走行試験を続けているが、2017年11月からは無人タクシーとして運行を開始した。当初は、安全のためにセーフティドライバーが搭乗していたが、2018年3月からは、文字通り無人のタクシーとして運行している。今では、生徒が通学の足として、また、住民が買い物に行くために、Waymoを利用している(下の写真)。

出典: Google

無人タクシー利用形態

毎日400人の住民が無人タクシーを利用している。利用者は、高齢者、高校生、子供がいる家族、身体障害者など幅広く、Waymoが日々の移動手段となっている。利用形態で一番多いのが通勤と通学で、また、レストランやバーに行くときも頻繁に利用される。スーパーマーケットに買い物に行くときの住人の足として機能している。

無人タクシーの中で

無人タクシー利用者は、移動中に何をしているかも明らかになった。クルマのなかで学校の宿題をしたり、メールや本を読むケースが多い。乗客は車内でWaymoの運行を監視しているオペレーターと話をすることができる。どの道を通って目的地に行くのかなど、質問があるときは車内に設置されているボタンを押してオペレーターに質問できる。

料金体系

Waymoは無人タクシー料金について公表していないが、Uberの料金が基準となることは間違いない。実証実験では料金は無料であるが、試験的にアプリに料金が表示される仕組みになっている。例えば、11.3マイルの距離を走ると19.15ドルと表示される。マイルあたりに換算すると1.69ドルとなり、これはUberXLの料金(マイルあたり1.55ドル)に匹敵する。WaymoはUberより安い料金体系を計画しているとも噂され、無人タクシーはライドシェア市場を直撃することになる。

無人タクシー事業展開

実際に、Waymoは無人タクシー事業を大規模に展開する計画を公表している。WaymoはFiat Chrysler Automobilesから62,000台のHybrid Pacifica Minivansを購入し、自動運転パッケージを搭載し、無人タクシーとして運行する(上の写真)。更に、WaymoはJaguar Land Roverから20,000台のI-PACEを購入し、プレミアム版の無人タクシーとして運行する(下の写真)。I-PACEはJaguarが開発した初の電気自動車(EV)で、お洒落なデザインとなっている。Pacifica Minivanを日常生活の足として使い、特別な日にリッチに移動するときにI-PACEに乗る、という使い分けになりそうだ。

出典: Google

無人トラック

Waymoは2018年3月、無人運転トラックを開発していることを明らかにした。車体はPeterbilt社のModel 389 (Class 8)で、ここにWaymoのセンサーとソフトを搭載している(下の写真)。センサーは自動運転車と同じもので、ソフトウェアも95%が同じであるとしている。自動運転車で培ってきた技術をそのまま使うことができるが、トラックはブレーキ操作、右折や左折、ブラインドスポットなどが異なるため、若干の手直しが必要となる。無人トラックはAtlanta(ジョージア州)で試験走行が展開されている。Atlantaは全米のロジスティクスのハブで、Waymoはここを拠点に無人トラックの開発を進める。

無人トラック応用分野

自動運転トラックは輸送会社のネットワークに組み込まれ、製造工場、配送センター、港湾などを結び、貨物を輸送する。ハイウェーで自動運転トラックの走行試験が進んでおり、セーフティドライバーが搭乗し、問題が発生すると運転を取って代わる。Waymoはホンダとの技術提携を発表したが、両社で配送向けの自動運転技術を開発していると言われている。

出典: Google

無人乗用車

Waymoは自動運転車を個人に販売するビジネスモデルも進めている。Waymoは、前述の、Fiat Chryslerと個人向け自動運転車の開発に関する協議を始めた。また、Waymoは、自動車メーカーの半分以上と、個人向け自動運転車に関する交渉をしているとも言われている。自動運転車は無人タクシーなどビジネスユースが中心となるが、消費者が自動運転車を所有したいという需要も大きいとみている。

ロードマップ

Waymoから四つのビジネスモデルが出そろい事業の骨格が明らかになった。無人タクシーが最初の事業で、アリゾナ州に続きカリフォルニア州で試験運行が実施される。無人タクシー商用運行時期は公表されていないが2020年と噂されている。商用運行が始まると、無人タクシーはライドシェアを直撃し、輸送形態が激変する。タクシーがUberに置き換わったように、今度はWaymoがUberを置き換えることになる。

GoogleはAIコールセンターを発表、人間に近づきすぎたAIが顧客のクレームを処理

GoogleはコールセンターにAIを統合したサービス「Contact Center AI」を発表した。Google Cloud Nextで科学研究責任者のFei-Fei Liが基調講演の中で明らかにした(下の写真)。Contact Center AIはコールセンターのオペレーター業務をAIで代行するもので、顧客からの問い合わせに、人間のようにインテリジェントに対応する。

出典: Google

AIが消費者の苦情を処理

講演の中でContact Center AIのデモビデオが紹介された。消費者が、購買した商品を返品するため、eBayのコールセンターに電話したという設定で、Contact Center AIの機能が紹介された。消費者がコールセンターに電話するとAIに繋がり、AIは人間のように自然な会話で対話する。AIが消費者の苦情を聞き、その内容を理解して、事務処理を完結した。

AIと人間の共同作業

具体的には、消費者はテニスシューズを買いたかったが、間違えてランニングシューズを購買したので、これを返品したいと申し出た。AIは会話を通して、消費者の意図を理解し、商品返品のプロセスを実行した。更にAIは、消費者はテニスシューズを買いたいという意図を掴み、電話をファッション担当オペレーターに転送した。消費者はオペレーターと会話して、目的のシューズを購買することができた。インテリジェントなAIが示されたことに加え、人間と協調してコールセンターのタスクを実践する仕組みも明らかになった。

消費者とAIとの会話

消費者とAIの会話は次の通り進行した:

AIは冒頭でマシンであることを明らかにし、人間そっくりの口調で消費者と対話を始めた。ここにGoogle Duplex(人間過ぎる仮想アシスタント)の技法が使われている。オープンエンド形式の会話モデルで、AIはHelloと挨拶してから要件を確認した。オープンエンド形式とは、テンプレートが無い会話モデルで、消費者の発言にAIが臨機応変に対応する。多くのコールセンターはツリー形式の会話モデルで、質問に答えながらガイダンスが進む。

AI:Hello Mala, I am an automated agent.  Welcome back to eBay.  It looks like we delivered six running shoes on June 26the.  Are you calling about this order?

出典: Google

消費者は購買したシューズが合わないので返品したいと告げる(上の写真)。AIはこれを理解して、返品のプロセスを起動し、その確認書をメールで送信したと告げる。

消費者:Unfortunately, they don’t fit.  So I need to return them.

AI: I can help you that.  I am starting a return for you.  You will be receiving an email with the details of your return.

AIは消費者の意図を把握し、更に、会話した情報を記録する。AIは、消費者は返品だけでなく、目的のシューズを探していることを推測する。AIは消費者にファッション担当オペレーターに電話を転送しましょうかと提案。消費者はイエスと答え、AIはオペレーターに電話を転送した。

AI:One more thing.  Would you like me to connect to an eBay fashion expert to find the right shoes?

オペレーター向けの情報

電話が転送されると、オペレーターのデスクトップには消費者とAIの会話が表示され、今までの経緯を理解することができる。更に、オペレーターが消費者と会話を進めると、AIは対話をリアルタイムで解析し、消費者の意図を把握し、最適な商品を推奨する。このケースでは、AIはハードコート用のテニスシューズを推奨し(下の写真)、消費者はこれを購入して一連のトランザクションが終了した。

出典: Google

システム構成

このケースではGoogle Cloudで稼働するGenesysのコールセンターシステムが使われた (下の写真、中央部)。消費者(左側)はAI(AI Virtual Agent、中央上部)と対話し、AIが自然言語でクレーム処理のタスクを実行する。次に、AIはオペレーター(右側)に電話を転送する。オペレーターが消費者と会話する際に、別のAI(Agent Assist、中央下部)が会話をリアルタイムで解析し、推奨製品などをディスプレイに表示する。

出典: Google

インテグレーション

Contact Center AIは既存のコールセンターシステムに統合して利用される。Contact Center AIがインテリジェントな音声対応機能(Interactive Voice Response)を司り、コールセンターの頭脳として機能する。このデモではGenesysが使われたが、この他に、Mitel、Cisco、TwilioなどのシステムでContact Center AIを使うことができる。企業はコールセンター業務をContact Center AIで実行し、人間のオペレーターを知的な業務に振り向けることができる。

Google Duplex

Googleはこれに先立ち、会話型AI「Google Duplex」を公開している。Duplexは人間のように会話するAIで、レストランの店員と話してテーブルを予約する(下の写真)。話し方が人間そっくりで、市場からは驚嘆の声が上がっている。同時に、なぜAIをここまで人間に近づける必要があるのか、議論となっている。Google Duplexは消費者向けのサービスとして登場したが、Contact Center AIに組み込まれ、適用範囲が企業向けに拡大した。

出典: Google

人間の能力を開花させる

Googleは先進的なAIを投入し社会で波紋が広がっているが、企業向けのソリューションであるContact Center AIでは、人間との協調を重視している。Fei-Fei Liは事務的な作業はAIに任せることで、人間は知的な仕事に専念できると説明した。これを「Empowering Human Talent」と呼び、Contact Center AIはオペレーターの職を奪うのではなく、人間の能力を開花させる存在であることを強調した。

AIコールセンター市場

AIコールセンターではIBM Watsonなどが先行しているが、Googleは強みであるAIを全面に押し出して、インテリジェントな機能で先行他社に挑戦する。今回の発表では、各社が独自のAIを開発するためのツールも公開された。業務形態に合わせてAIコールセンターを開発することができる。多様なキャラクターのエージェントが開発され、人間より対応が上手なAIが登場するのか、期待が膨らむ技術である。

フェイスブックは知的なAIを開発、AIがニューヨークで観光案内をしながら人間の言葉を学ぶ

AIの自然言語機能が向上し、クールな仮想アシスタントの登場が相次いでいる。しかし、本当に役に立つ仮想アシスタントを開発するためには、AIはインテリジェントになり、人間のように言葉の意味を理解する必要がある。フェイスブックはこのテーマに取り組み、AIが実社会に接して一般常識を身に付け、人間のように言葉を理解する研究を進めている。

出典: Facebook AI Research

Talk the Walk

フェイスブックAI研究所 (Facebook AI Research)はこのテーマに関し、論文「Talk the Walk: Navigating New York City through Grounded Dialogue」を発表した。AIが街に出て、実社会とのインタラクションを通し、インテリジェンスを習得する技法を示している。二つのAI (Agent) が生成され、ガイドのAgentが観光客のAgentに言葉で道案内をする。このタスクは「Talk the Walk」と呼ばれ、会話を通し、ガイドのAgentが道に迷った観光客のAgentを目的地まで案内する (上の写真、右側は両者の会話で、左側は観光客が見ている風景)。

自然言語解析技法の進化

AIの登場で自然言語解析技法が飛躍的に進化した。特に、機械翻訳(Machine Translation)と言葉の理解(Natural Language Understanding)に関し、AIは飛躍的な進化を遂げ、我々の暮らしを支えている。しかし、AIは翻訳や会話ができるようになったが、アルゴリズムは言葉の意味を理解しているわけではない。AIは言葉の意味を理解しないまま、人間を模倣して会話しているに過ぎない。

教育手法が間違っている

AIが知的になれない理由は教育手法にあり、アルゴリズムは大量のテキストデータで教育され、統計手法に基づき翻訳や対話をするためである。フェイスブックは知的なAIを開発するには、社会の中で環境や他の人と交わりながら言葉を学習することで、アルゴリズムは言葉の意味を理解し、言葉を話せるようになると主張する。

道案内のタスク

フェイスブックAI研究所は、言葉を環境と結びつける手法でAIを教育する研究を進めている。Talk the Walkが教育モデルとなり、ニューヨーク市街地で、二つのAgent (ガイドと観光客)が会話しながら、目的地を目指すタスクを実行する。ガイドはマップを見て目的地を把握できるが、観光客の場所は分からない (下の写真右側)。一方、観光客はマップを見ることはできないが、周囲360度の風景を見ることができる (下の写真左側)。ガイドは観光客と会話しながら目的地まで誘導する (下の写真中央部の吹き出し)。つまり、道に迷った観光客が案内所に電話して、目的地までの道順を聞いている状態を再現した形となる。

出典: Dhruv Batra et al.

マップを作成

研究チームはこのタスクを実行するために、ニューヨークの五つの地区を選び、それらのマップを生成した。マップには360度カメラで撮影した映像 (ストリートビュー) が組み込まれ、観光客は交差点の四隅で周囲の風景を見ることができる (上の写真左側、矢印にタッチするとその方向の風景を見ることができる)。更に、写真に写っているランドマーク (バーや銀行や店舗など) には、それが何であるかがタグされている。一方、ガイド向けには2Dのマップが用意され、ここに道路とランドマークが記載されている (上の写真右側)。

ガイドが目的地まで誘導

タスクはシンプルで、マップの中の観光客と対話しながら、ガイドが目的地まで誘導する。観光客はストリートビューを見て、目の前にあるランドマークをガイドに報告する。ガイドはこの情報を手掛かりに、観光客の現在地を把握し、目的地まで道案内をする。ガイドが観光客は目的地に着いたと確信した時点で道案内が終了する。システムは観光客が本当に目的地に到着したのかを検証し、一連のタスクが終了する。

ガイドと観光客の会話

ガイドと観光客は次のような会話を交わしながら目的地を目指す:

ガイド:近くに何がある?

観光客:正面にBrooks Brothers

ガイド:交差点の北西の角に行け

観光客:背後に銀行がある

ガイド:左に曲がり道を直進

観光客:左側にRadio Cityが見える

・・・

観光客が目的地に到達するまでこのような会話が続く。

位置決定モデル

ガイドが観光客を案内するためには、まず観光客の位置を把握する必要がある。観光客は目の前の風景を言葉でガイドに伝え、対話を通じてガイドは観光客の位置を把握する。このタスクを実行するために位置決定モデル「Masked Attention for Spatial Convolutions (MASC)」が開発された。MASCは風景の描写を言葉で受け取り、それを位置情報に変換する機能を持つ。

判定精度の評価

ニューヨーク市街地でMASCを試験してその性能を評価した。MASCの判定精度は高く、88.33%をマークし(下のテーブル三段目)、人間の判定精度76.74%を上回った(下のテーブル二段目、実際に人間同士がこのタスクを実行した)。但し、AIのケースでは人間の言葉は使わないで、特別な言語モデル(Emergent Communication)が使われた。この方式ではAIが生成する生データでAI同士が会話した。

一方、AIが人間の言葉を使って会話すると判定精度は50.00%に低下した(下のテーブル最下段)。この評価結果から、人間の言語は情報を正確に伝えるためには適した構造とはなっていないことも分かる。

出典: Dhruv Batra et al.

この研究の意義

Talk the WalkはAIが言語を学習するためのフレームワークを提供する。この方式は「Virtual Embodiment」とも呼ばれる。これは、複数のAgentが、生成された環境の中で、体験を通し、言葉の意味を学習する手法を指す。Talk the Walkはこのコンセプトに基づくもので、知覚(Perception)、行動(Action)、会話(Interactive Communication)機能を、AIが社会とのインタラクションを通して学習する。

AIに課された命題

上述の通り、AIが人間の言葉を使ってコミュニケーションすると、意思疎通の精度が大きく低下することも明らかになった。人間が使う言葉は曖昧さが多く、コミュニケーションツールとしては不完全であることが改めて示された。つまり、AIに課された命題は、言語という不完全なコミュニケーションツールから、厳密に意味を把握することにある。このためには、人間がそうしてきたように、AIも環境に接し言語を学ぶ努力が必要になる。Talk the Walkはオープンソースとして公開されており、AIが言語を学習するための環境を提供する。