Facebookは開発者会議Connect 2021で、メタバース(Metaverse)構想を明らかにした。メタバースとはインターネットに構築される３D空間で、次世代ソーシャルネットワークはここに構築される。メタバースは現実空間と仮想空間が融合したもので、ここで人々が交流しビジネスが営まれる。(下の写真、メタバースに構築されたオフィス)

出典: Meta

メタバースを構成する技術

メタバースを構築する基礎技術はAR(拡張現実)とVR(仮想現実)で、これらを融合しMR(複合現実)を生成する。これらがメタバース研究所「Facebook Reality Labs」で開発されている。現在のAR・VRを飛躍的に進化させ、リアルとバーチャルを融合したMR空間を生成する。Metaはメタバースをモバイルの次のプラットフォームと位置付け、AppleやGoogleに依存しないインターネットを生成する。(下の写真、現実空間に仮想オブジェクトを融合したMR空間。)

出典: Meta

メタバースを生み出す技術：Presence Platform

Metaが開発しているメタバースは、リアル社会とバーチャル社会を滑らかに融合するもので、これを生み出す技術は「Presence Platform」と呼ばれる。このプラットフォームは、コンピュータビジョンとAIが核となり、仮想オブジェクトを現実空間に組み込むためのモジュールから構成される。具体的には、MR(Mixed Reality)、オブジェクトのインタラクション、ボイスのインタラクションを生成する機能を提供する。MRとは、上述の通り、複合現実で、現実空間と仮想空間を融合し、メタバースの中心機能となる。

Presence Platformは三つのSDK(Software Development Kit)から構成される：

• Insight SDK：現実空間に仮想オブジェクトを組み込みMRを生成する技術
• Interaction SDK：手で仮想オブジェクトを操作する技術
• Voice SDK：会話を理解する機能で言葉で仮想オブジェクトを操作する技術

SDKとはソフトウェア開発キットでエンジニアはこれらの機能を使ってメタバースを開発する。

MR空間を生成する技術：Insight SDK

Insight SDKはメタバースの中心技術で、高品質なMR空間を生成する。Insight SDKは「Passthrough」と「Spatial Anchors」の二つの機能から成る。

Passthrough機能

PassthroughはVRヘッドセットを介してMR空間を生成する技術で、現実空間に仮想オブジェクトを描写する。下の写真はOculus Quest 2を介してピアノのレッスンを受けている様子。ピアノの鍵盤に円形の仮想オブジェクトを表示し、これを指で叩くと音楽を演奏できる。Oculus Quest 2はカメラを搭載しており、前方のイメージを白黒で見ることができる。Oculus Quest 2はVRだけでなく、MRグラスとしての機能がある。

出典: Meta

Spatial Anchors機能

Spatial Anchorsはハンドセットで現実空間をマッピングする機能。下の写真はOculusのハンドセットを置かれた家具に沿って動かし、部屋の中をマッピングしている様子。システムは現実空間の構造を理解して、それに応じて仮想オブジェクトを表示するために使われる。

出典: Meta

Scene Understanding機能

Scene Understandingはユーザ空間を理解する機能で、空間の位置関係やその意味などを理解する。この中のScene Modelを使って部屋の中にMR空間を生成する。下の写真は部屋の空間に仮想オブジェクト(暖炉や窓の外の景色)を挿入しMR空間を生成したもの。このようにPassthrough、Spatial Anchors、Scene Understandingを使って、複雑で、かつ、物理空間の意味を理解したメタバースを開発できる。

出典: Meta

手の動きを表現する技術：Interaction SDK

Interaction SDKは手やハンドセットの動きを仮想空間の中で表現するために使われる。手で仮想オブジェクトを掴んだり、触ったり、ポイントするなどの動作を司る。下の写真は、手で仮想のコーヒーマグの取ってを掴んでいる様子。Interaction SDKは、コンピュータビジョン使い、AIが手の動きをトラックし、オブジェクトとのインタラクションを把握する。

出典: Meta

話し言葉を理解する技術：Voice SDK

Voice SDKは自然言語解析の機能で、話し言葉により、ハンズフリーのオペレーションができる。これをゲームに適用すると、音声でプレーするゲームを開発できる。Voice SDKは、音声でのナビゲーションの他に、音声での検索や、音声でのQ&A機能を提供する。下の写真は、仮想のキャラクター「Oppy」の名前を呼ぶと、言葉の意味を理解して近づいてくる。

出典: Meta

次世代VRヘッドセット：Project Cambria

Metaは次世代のVRヘッドセットを開発している。このプロジェクトは「Project Cambria」と呼ばれ、ハイエンドのVRヘッドセットとなる。Project CambriaはSocial Presence機能やカラーのPassthrough機能を備えている。現在、Metaは消費者向けにVRヘッドセットOculus Quest 2を販売しているが、Project Cambriaはこの後継モデルではなく、ハイエンドの製品ラインとなる。

出典: Meta

モバイル向けAR：Spark AR

「Spark AR」はモバイル向けのAR開発環境で、既に多くのコンテンツが開発されている。これはMobile ARと呼ばれ、スマホのアプリに組み込んで利用する。例えば、顔に特殊効果を挿入する際にSpark ARが使われる。下の写真は、Spark ARで顔に特殊メイクを施し、妖怪に変身する事例。Metaは、このSpark ARを拡張し、メタバース向けに高度なARを開発している。

出典: Meta

ARグラス：Project Aria

MetaはARグラス「Project Aria」を開発している(下の写真右側)。これは、グラスにカメラとディスプレイを搭載した構造で、目の前の現実空間に仮想オブジェクトをインポーズする。ARグラスはDigital Assistantとなり、AIが周囲のオブジェクトの種別や意味を理解する(下の写真左側、ソファーやテーブルを認識する)。更に、AIは利用者の意図を把握して、次の行動をアシストする。利用者が電灯に視線を向けると、スイッチががオンになるなどの機能がある。

出典: Meta

ARグラスへの入力：Electromyography

ARグラスにデータを入力する方法が課題になるが、MetaはElectromyography(筋電図)という技法を開発している。これは筋肉で発生する微弱な電場をAIで解析することで、その意図を推定するもの。手首にデバイスを装着しElectromyographyを計測する。指でアルファベットを書くと、このデバイスがテキストに変換する(下の写真、テキストメッセージを入力している様子)。

出典: Meta

コンセプトの段階

Metaはメタバースの概要を始めて公開したが、これらはまだ製品ではなく、コンセプトの段階である。今回の発表はProof of Conceptを示し、メタバースが完成した時の製品イメージを提示することを目的とした。これによると、AR・VR・MR技術が大きく進化し、メタバースは現実空間と仮想空間が滑らかに融合した社会であることが分かった。一方、メタバースはより深い個人データを使うことも分かり、個人情報の保護がより厳しく求められる。

Facebookは、開発者会議「Connect 2021」で、ソーシャルメディア企業からメタバース(Metaverse)企業になることを発表した。CEOのMark Zuckerbergがメタバース空間で明らかにしたもので(下の写真)、これに伴い、社名も「Facebook」から「Meta」に変更する。Facebookは創設以来最大の危機に直面しており、社名を変えることで、新生企業として再出発する。一方、Metaが開発しているメタバースは、従来の技法から大きく進化したもので、スマホの次のプラットフォームになる可能性を秘めている。

出典: Meta

メタバースとは

メタバースとは、インターネットに構築された３D仮想社会で、ここに人々が集い交流する。従来のVR空間とは異なり、メタバースでは利用者が仮想社会と連動し、そこに存在している感覚「Social Presence」を覚える。次世代のソーシャルネットワークはメタバースに構築される。Facebookは、メタバースをモバイル・インターネットの次のプラットフォームとして位置付け、技術的に大きな飛躍となる。但し、メタバースは今すぐに使えるサービスではなく、完成までに時間を要すことも明らかにした。Facebookはそのビジョンを示したもので、これに向かって技術開発が進んでいる。 (下の写真、メタバースの事例、無重力空間で友人同士がアバターを介して交流している様子。)

出典: Meta

家庭向けのメタバース

Zuckerbergは基調講演で、メタバースの様々な利用方法を紹介した。その一つが家庭向けのメタバースで、「Horizon Home」と呼ばれる。これはVRヘッドセット「Oculus」を着装して利用するサービスで、複数の友人がメタバースに集い、それぞれのアバターを介して交流する(下の写真)。お互いに会話するだけでなく、グループでゲームをプレーするなど、アバター同士がインタラクションできることに特徴がある。

出典: Meta

企業向けのメタバース

今回の発表に先立ち、Facebookは企業向けのメタバースを発表している。これは、「Horizon Workrooms」と呼ばれ、遠隔勤務向けのコラボレーションシステムとなる。社員はアバターを介してビデオ会議に出席し、他の社員とインタラクションしながら、会議を進める(下の写真)。ホワイトボードに説明資料を表示するなど、リアルのオフィスを仮想空間に構築する。

出典: Meta

メタバースでゲームをプレー

ゲームはメタバースの重要なアプリケーションで、既に数多くのコンテンツが開発されている。ARグラスを着装すると、海外に住む友人とチェスを対戦することができる(下の写真)。また、VRヘッドセットを着装すると、没入型のゲームを体験できる。OculusはVRゲームを数多く開発しおり、ヒット商品は「Beat Saber」で、飛んでくる物体を刀で切り落とす。

出典: Meta

メタバースでフィットネス

近年は、ジムでエクササイズをする代わりに、自宅でVRヘッドセットを着装してトレーニングする人が増えた。フィットネスバイクは、仮想のスタジオで、インストラクターの指示に従ってペダルを漕ぐ(下の写真)。また、「Supernatural Boxing」シリーズは、VRボクシングを通したエクササイズで、巨大なモンスターと対戦する。

出典: Meta

仮想空間で教育

メタバースは教育プラットフォームとして使われる。ARグラスを着装して土星を見ると、目の前にその構造が描写される。土星の環の中に入ると、無数の氷の塊で構成されていることが分かる。また、VRヘッドセットを着装すると、古代ローマの都市に降り立つことができる(下の写真)。市場で売られている魚や果物を見て、街の賑わいを感じる。また、建造物のアーキテクチャや建設方法を学ぶことができる。

出典: Meta

社名の変更

Zuckerbergは、社名を「Facebook」から「Meta」に変更したことを明らかにし、その理由をメタバース企業に転身するためと説明した。Metaはギリシャ語で「Beyond」という意味で、ソーシャルネット―ワークの次の章が始まることを示している。既存サービスの名称はそのままで、Metaの配下でFacebook、Instagram、WhatsAppがビジネスユニットとして事業を継続する。(下の写真、本社の前のパネルは新しいロゴに置き換わっている。)

出典: Meta

Facebook Papers

いま、Facebookは創業以来最大の危機に直面している。Facebookの元社員が、社内資料を公開し、会社は利用者の安全を犠牲に利益を上げていると告発した。持ち出された大量の社内資料は「Facebook Papers」と呼ばれ、Facebookのアルゴリズムやビジネス慣行が記載されている。Zuckerbergはこの危機を乗り越えるため、社名をMetaとし、新生企業として出直しを図り、社会からの批判を避ける思惑もある。

Facebookは今週、脳とコンピュータのインターフェイスを開発しているベンチャー企業「CTRL-labs」の買収を発表。CTRL-labsは、脳が出すシグナルをリストバンドで検知し、利用者の意図を把握する。これをコンピュータに応用すると、指を動かすだけでキーボードを操作できる。ちょうどエア・ギターの要領で、指でキーを押す真似をするとタイプできる。Facebookはこの技術をAR/VRに応用する計画で、コントローラを使わないで、指や手でオブジェクトを操作する。脳波が仮想現実社会のインターフェイスとなる。

出典: CTRL-labs

発表概要

Facebookは2019年9月、ニューヨークに拠点を置くベンチャー企業CTRL-labsを買収することを発表した。CTRL-labsは脳波からのシグナルでコンピュータを操作する技術を開発している。リストバンド(上の写真、左側のデバイス)を腕に装着して利用する。指でキーボードをタイプする真似をすると、リストバンドが脳からのシグナルを検知し、AIがその意図を解釈し、それをデバイスに送り、実際に文字が入力される。

Neural Interface Platform

CTRL-labsは脳波でコンピュータを操作する仕組みを「Neural Interface Platform」と呼んでいる。人間は目や耳から大量の情報を脳に読み込むが、脳の情報を外部に出力する手段は限られている。脳の情報を出力するには、口や声帯の筋肉を動かし、音を生成して情報を伝える。また、腕や指の筋肉を動かし、キーボードで文字を打ち込む。つまり、脳の情報を出力するには筋肉が使われ、生成されるデータ量が限られる。CTRL-labsはこの非対称性を改善するため、脳からのデータ出力量を拡大するプラットフォームを開発した。

CTRL-labsの動作原理

人間が手を動かすときに、脳から命令が発せられ、それが脊髄(Spinal Cord)から、手の筋肉を動かすシグナルとして発せられる(下の写真)。腕の筋肉はこのシグナルに従って手や指を動かす。CTRL-labsはこのシグナルを検知することでデバイスを操作する。具体的には、腕には複数の筋肉があり、それらのシグナル(微弱な電流)をリストバンドで検知する。収集したシグナルをニューラルネットワークで解析し、その意図を把握する。例えば、親指でキーを押す動作をすると、特定のシグナルが生成され、この波形をAIで解析し、その意図を特定する。

出典: CTRL-labs

脳波を検知する手法

脳波を解析する手法は二つあり、CTRL-labsの技法は「Electromyography (EMG)」と呼ばれ、脳波を腕の筋肉のシグナルからとらえる。一方、頭皮に電極を装着して脳波を直接センシングする方式もある。これは「Electroencephalography (EEG)」と呼ばれ、脳波そのものを計測し、そのシグナルから意図を把握する。EEGは医療やメンタルヘルスで使われるケースが殆どで、コンピュータインターフェイスとしての機能は限られている。

プロトタイプを公開

CTRL-labsはステルスモードで技術を開発してきたが昨年末、これを公開しリストバンドを使ったデモが実施された。リストバンドを両手首に巻いて指を動かすと、仮想の指が意図した通りにに動く。また、このシグナルをパソコンに入力すると、キーボードを使わないで、指を動かすだけでタイプできる。エア・タイプの感覚で指で机の表面を押すと文字が入力される(下の写真)。

出典: CTRL-labs

AR/VRに応用

このシステムをAR/VRに統合すると、仮想空間のオブジェクトをコントローラを使わないで手や指で操作できる。AR/VRでは画面を操作するためにコントローラが必要で、ボタンを動かしオブジェクトを操作する。また、ヘッドセットに搭載されたカメラが指の動きを撮影して意図を掴む方式もある。CTRL-labsを使うとこれらの機器が不要となり、手や指でオブジェクトを操作できる (下の写真)。これにより仮想空間と直感的なインターフェイスが形成される。

出典: CTRL-labs

企業買収の目的

FacebookのAR/VR部門副社長Andrew Bosworthはこの買収をブログで公開し、CTRL-labsはAR/VR研究部門「Facebook Reality Labs」に加わることを明らかにした。この部門はOculusを中心としたAR/VR技術を開発しており、CTRL-labsを使うことで自然で直感的なインターフェイスを探求する。買収金額は10億ドルから5億ドルと噂されており、Oculusに次ぐ大型買収となる。FacebookはAR/VRで次世代コンピュータ基盤を開発しているとされ、その研究内容に注目が集まっている。