Facebookは人間の視線で周囲の状況を把握するAIの研究を開始した。このプロジェクトは「Ego4D」と呼ばれ、人間の視線で捉えたデータ(下の写真)でアルゴリズム教育することで、AIは実社会でインテリジェントな能力を発揮する。これをARグラスやVRヘッドセットに搭載することで、AIがアシスタントとなり利用者の視覚や聴覚をエンハンスする。また、これをロボットに搭載すると、実社会で自律的に稼働する機能を得ることができる。

当事者の視点で環境を理解

コンピュータビジョンの進化でAIはオブジェクトを認識しその種別を正確に判定する。しかし、これらのAIは第三者視点(third-person perspective、下の写真左側)で開発されたもので、傍観者としてオブジェクトを判定する。これに対し、Facebookは第一者視点(first-person perspective、右側)でアルゴリズムを教育する研究を開始した。この技法は「Egocentric Perception」と呼ばれ、開発されたAIは当事者の視点でオブジェクトを判定できるようになる。これをARグラスやVRヘッドセットに搭載すると、AIがアシスタントとして周囲の状況を把握し最適な助言を行う。また、ロボットへ適用すると、AIが視覚となり実社会の中を自律的に稼働するシステムにつながる。(下の写真はサイクリングに関する画像認識の判定結果。第三者視点で開発されたAIの判定精度は高いが(左側)、第一者視点で開発されたAIの判定精度はまだ低い(右側)。)

開発したAIの利用方法

FacebookはARグラスの開発を進めており、その第一弾としてスマートグラス「Ray-Ban Stories」を発表した。これから製品化されるARグラスには第一者視点のAIが搭載され、インテリジェントなアシスタントとして使われる。AIが周囲のオブジェクトを見てその種別などを把握する。例えば、ARグラスで日常生活を録画しておくと、AIはこれを解析して利用者の質問に回答する。「祖母の腕時計をどこに片づけた」と質問すると、AIは過去のビデオを解析し、ARグラスにその場所を表示する(下の写真)。

大学との共同開発

利用者の視点でオブジェクトを判定するAIを開発するためには、アルゴリズムを教育するための大量のデータが必要になる。このため、Facebookは各国の大学と共同研究をすすめ、利用者視点のデータを集約して教育のためのデータセットを開発している(下の写真)。世界から13の大学が参加しているが、日本からは東京大学がこのプロジェクトに加わっている。

データセットの構成

開発者はスマートグラスなどを着装してカメラで日常生活を録画する。これら録画されたビデオにその意味を付加して、生活の中での動きとその説明文のペアを作る。これらのビデオを集約したデータセットを構築し、これらのデータを使ってAIを教育するプロセスとなる。日常生活の様式は国により異なり、Facebookは主要国の大学と共同でこれを進めている。(下の写真；皿洗いを撮影したビデオで、左からサウジアラビア、イタリア、ルワンダの事例となる。)

アルゴリズム教育

次は、生成したデータセットを使ってアルゴリズムを教育するステップとなる。ここがAI開発のコアで、Facebookはこれを研究課題として提示し、大学や研究機関の研究者がこれに挑戦する形式をとる。チャレンジは五つのテーマから構成される。

• イベントの記憶(Episodic memory): AIはいつどこで何があったかを把握。(上述の事例の通り、祖母の腕時計をどこに格納したかを把握。)
• 予測(Forecasting): AIはビデオをみて次のアクションを予測。
• 手作業(Hand and object manipulation): AIは手の動きからどんな作業をしているかを把握。(ドラムを演奏する方法を把握し、それを教える(下の写真)。)
• 音声映像の記録(Audio-visual diarization): AIはだれが何を言ったかを把握。
• 人間関係(Social interaction): AIは誰と誰が会話しているかなど人間関係を把握。

AIビジョンの進化

AI開発でオブジェクトの形状を把握するコンピュータビジョンが急成長しているが、アルゴリズムを教育するためのデータセットが技術進化を支えている(下の写真)。AI開発の初期には手書き文字を判読するためのデータセット「MNIST」が開発された。コンピュータビジョンが急速に進化したのは、イメージのデータセット「ImageNet」の存在が大きい。ここには大量の写真とタグが格納され、これによりAIが人間の視覚を上回った。これらはすべて第三者視点のデータセットで、Ego4Dが第一者視点の最初のデータセットとなる。

Facebookは創業以来最大の危機に直面している。Facebookの内部告発者がアメリカ連邦議会公聴会で証言し、アルゴリズムの危険性を訴えた。Facebookは有害情報を発信すると閲覧回数が増えることを理解しており、利用者の安全を犠牲に利益を上げる手法を選択したと証言。一方、Facebookは、この解釈は正しくなく、アルゴリズムの改良で有害記事が減り、友人や家族からの記事が増えたと反論。連邦政府は、アルゴリズムの公開も含め、ソーシャルメディアに関するルールを制定する方向に動き始めた。

アメリカ連邦議会公聴会

10月5日、アメリカ連邦議会上院の公聴会「Senate Commerce Subcommittee on Consumer Protection」で元Facebook社員であるFrances HaugenがFacebookのビジネス手法について証言した(上の写真)。公聴会はインターネットから子供を守ることを目的に開催され、Haugenは、FacebookはInstagramが子供の健康を害していることを把握しているが、企業の利益を優先して有害なコンテンツを送り続けていると証言。このビジネス慣行は容認できるものではなく、ソーシャルネットワークを規制する法令の制定を訴えた。Haugenは議員からの質問に答える形で、Facebookの技術内容を説明し、子供をターゲットとする手法やアルゴリズムの概要などを明らかにした。

内部告発の背景

HaugenはFacebookでProduct Managerとしてアルゴリズムの開発に従事してきた。Haugenは退社する前に、大量の内部資料をコピーして報道機関Wall Street Journalに提供し、同紙がこれをベースに告発記事を書き、Facebookの問題が表面化した。更に、これら内部資料は米国証券取引委員会と米国連邦議会に提出されている。Haugenの証言はこれら大量の社内データに基づき、Facebookのビジネス慣行の詳細が明らかになった。

Instagramは少女に有害

HaugenはInstagramが若い女性に有害である点を中心に証言した。Facebookは内部調査でInstagramが子供の健康を害することを把握しているが、この事実を隠匿し、有害なコンテンツの配信を続けていると指摘した。具体的には、英国における調査で、女性ティーンエイジャーの13.5%はInstagramを使い始めてから自殺を考えるようになった、という問題が明らかになった。また、別の調査で、女性ティーンエイジャーの17％はInstagramを使い始めてから摂食障害を引き起こしたことも判明。更に、身体の容姿にコンプレックスがある少女の32％は、Instagramを見ると精神状態が悪化したことも報告されている。

アルゴリズムの危険性

これらの問題はコンテンツを配信するロジックを規定するアルゴリズムにある。Facebookはアルゴリズムを使って読者に最適なコンテンツを配信する方式を取る。このアルゴリズムは「Engagement Based Ranking」と呼ばれ、どのような内容のコンテンツを配信するかを決定する。Facebookは友人や家族間でコミュニケーションが増進するコンテンツを配信する方式を採用している。これは「Meaningful Social Interactions(MSI)」と呼ばれ、読者がコンテンツに対してリアクションするものを優先して配信する。具体的には、読者がクリックしたり、いいねボタンを押したり、他者と共有するコンテンツを配信する。アルゴリズムは読者がどんどんシェアしてくれるコンテンツを中心に配信する。

アルゴリズムの評価

つまり、アルゴリズムはMeaningful Social Interactions(MSI指標)が向上するよう設定されている。実際には、Facebookでは多数のアルゴリズムが稼働しており、それぞれのアルゴリズムの設定を変更して、コンテンツがシェアされる回数が増えるように調整される。アルゴリズムでMSI指標を上げると、より多くのコンテンツがシェアされ、ページビューが向上し、収益が上がる構造となる。つまり、FacebookとしてはMSI指標を向上することが究極のゴールで、これにより事業が拡大し収益があがる。

ヘイトスピーチが増える

しかし、Facebookは内部調査で、MSI指標を上げると、その副作用として、ヘイトスピーチや偽情報や暴力を扇動するコンテンツが増えるという事実を把握した。アルゴリズムがこれら有害なコンテンツを配信すると、利用者のインタラクションが増え、その結果MSI指標が向上する。利用者の観点からは、有害なコンテンツに惹きつけられ、これらをシェアする回数が増え、ソーシャルネットワークで拡散することになる。アルゴリズムが有害コンテンツの拡散機となることを意味する。

安全より利益を選択

Facebookはこれらの事実を把握していたにも拘わらず、これを隠匿してMSI指標を高めてきた。MSI指標を上げると利用者に有害なコンテンツが配信され危険であるが、企業としてはページビューが増え広告収入が増える。つまり、Facebookは危険性を隠匿し、利用者の安全より企業の収益を優先させることを選択した。

AIが未熟

同時に、Facebookはヘイトスピーチなど有害なコンテンツをAIで検知し、これらを削除する研究を進めているが、技術は未熟でこれらを正確に検知することができない。2021年の夏に、Facebookはコロナウイルスに関する偽情報をAIでフィルタリングする試験を実施した。その結果、検知精度は80％から90％で、多くのコンテンツがフィルターをすり抜けた。このAIは英語のコンテンツを対象とし、他の言語には対応できていない。

Facebookの反論

公聴会での証言を受けて、Mark Zuckerbergはメッセージを発信し、Haugenの主張は間違っていると反論した。議論の核心はFacebookが安全より利益を優先しているとの主張で、これは完全に間違いだと述べている。具体的には、FacebookはMSI指標を導入したが、その結果有害ビデオ(Viral Videos)が減り、友人や家族からのコンテンツが増えたと説明。また、Facebookは意図的に有害コンテンツを拡散しているとの主張に対し、Facebookは広告でビジネスを構築しており、企業は有害コンテンツには広告を掲載しないと反論した。Instagramに関しては、子供たちにスマホが普及しており、これを制限するのではなく、子供たちのニーズに沿って安全な機能を提供することがFacebookの役割と説明した。

ルールの制定

Haugenは公聴会で証言した目的は議会にソーシャルメディアに関するルールの設定を促すためと述べている。同様に、ZuckerbergはFacebookのような企業がコンテンツ選別に関す決定を下すのではなく、政府が法令を改定して新しい時代に沿ったルールを制定すべきと発言している。HaugenもZuckerbergも政府がソーシャルネットワークを規制する法令を制定すべきという点では共通の理解を持っている。

Facebookの転機

早くからソーシャルネットワークの危険性が指摘されてきたが、Haugenによる証言でアルゴリズムなどシステムの詳細が明らかになり、Facebookの問題の本質が見えてきた。Facebookはソーシャルネットワークでトップのシェアを持つが、利用者数は伸び悩み事業拡大が難しくなっている。Facebookは有害コンテンツの拡散を押さえ、事業を拡大するという難しいかじ取りを迫られる。

Facebookはスマートグラス「Ray-Ban Stories」を発表した(下の写真)。これはFacebookが開発した最初のスマートグラスで、お洒落なデザインとなっている。Ray-Banサングラスにテクノロジーを実装したもので、ファッションに軸足を置く構成となっている。スマートグラスは二台のカメラを搭載し、利用者の視点で写真やビデオを撮影する。FacebookはARグラスの開発を進めており、Ray-Ban Storiesがそれに向けた第一歩となる。

Ray-Ban Storiesの概要

Ray-Ban Storiesはサングラスに二台のカメラを組み込んだ構造で、写真やビデオを撮影できる。スピーカーとマイクが搭載され、音楽を聴き、また、電話をかけることもできる。価格は299ドルからでRay-Banのサイトで購入する。これはFacebookがEssilorLuxottica(Ray-Banの親会社)と共同開発しもので、米国など六か国で販売が始まった。

カメラと利用方法

スマートグラスはリムの両端に５MPのカメラを搭載している(下の写真)。カメラは利用者の目線で撮影し、日常生活の瞬間(Moments)をとらえるために使われる。撮影するときは右側テンプルに設置されたボタンを押すか、ボイスコマンドを発行する。スマートグラスはAI音声認識機能を備えており、「Hey Facebook, take a video」と語りかけるとビデオ撮影が始まる。写真やビデオを撮影しているときはカメラの隣に搭載されているLEDライトが点灯する。これにより周囲の人はカメラが稼働していることが分かり、プライバシー保護に配慮した設計となっている。

アプリとの連携

スマートグラスは専用アプリ「Facebook View」と連携して利用する。撮影した写真やビデオはアプリに格納され(下の写真左側)、それを編集してオリジナルなコンテンツを生成する(中央)。生成したコンテンツはFacebookやInstagramやWhatsAppなどソーシャルネットワークと共有することができる(右側)。自社ネットワークだけでなく、Twitter、TikTok、Snapchatと共有することができる。

Ray-Banのモデル

スマートグラスはRay-Banのモデル「Wayfarer」、「Round」、「Meteor」から構成される。Wayfarerはクラッシックなデザイン(下の写真)で、オードリーヘップバーン(Audrey Hepburn)が映画「ティファニーで朝食を」(Breakfast at Tiffany’s)で使い有名になった。今では歌手のマドンナ(Madonna)などが愛用し、このスタイルが再びブームになっている。Ray-Banと言えばバイデン大統領が愛用している「Aviator」を連想するが、若い世代にはあまり好まれないようである。

プロセッサなど

スマートグラスは二台のマイクロスピーカーと三台のマイクを搭載している。マイクは特定方向のサウンドをエンハンスする機能(Beamforming Technology)や背景音をキャンセルする機能を持ち、クリアなサウンドを生成することができる。また、テンプルの部分がタッチパネルになっており、指で触って操作する。スマートグラスは専用プロセッサ「Snapdragon」を搭載しており、これらのデバイスをサングラスに組み込んだデザインとなる。

Facebook Reality Labs

スマートグラスはFacebook Reality Labsで開発された。Facebook Reality Labsとは拡張現実(AR)と仮想現実(VR)を研究開発することをミッションとし(下のグラフィックス)、Ray-Ban StoriesはそのAR部門で開発された。VR部門はOculusを核とする組織で、VRヘッドセットを開発している。最新モデルは「Oculus Quest 2」で、PCとの連携を必要としないスタンドアロン型VRヘッドセットとして販売が始まった。

ARグラス

AR部門は既にAR グラスのプロトタイプ「Aria」を開発した。これは研究開発用のAR グラスで、カメラとディスプレイを搭載し、目の前のオブジェクトを把握するだけでなく、そこにテキストやグラフィックスをインポーズし、現実社会と仮想社会を融合させる。Facebook 社員はAria を着装して施設内や市街地を歩き、グラスのカメラで目の前のシーンを記録し、ARグラス向けのマップを制作している。ARグラス商用版に向けた開発が進んでいるが、Ray-Ban Storiesがその第一歩となる。