カテゴリー別アーカイブ: Facebook

Meta(Facebook)は世界最速のスパコンを開発、AIとメタバースは高性能プロセッサが勝敗を分ける

Meta(Facebook)は、今週、スパコンを開発していることを明らかにした。最大性能は5 Exaflopsで世界最速のマシンとなる。Metaが独自でスパコンを開発するのは、AIとメタバースの開発で、大量の演算処理が必要になるため。AI開発ではアルゴリズムの規模が巨大化し、その教育には高速プロセッサが必須となる。メタバースはAIと密接に関連し、３D仮想社会を生成するには、高精度なコンピュータビジョンが求められる。

出典: Meta

スパコンの概要

Metaは、スパコンを「AI Research SuperCluster(RSC)」(上の写真)と呼び、AI研究のための高速計算機と位置付ける。今年中旬の完成を予定しており、演算性能はExaflopsを超える。(Exaflopsとは１秒間に10の18乗(10^18)の演算を実行する性能。) 現在、最速のマシンは442 Petaflops (0.442 Exaflops)で、ついにスパコンがExaの領域に入ることになる。

研究テーマ

スパコンは、名前が示しているように、AI研究で使われる。Metaは、自然言語解析(Natural Language Processing)やコンピュータビジョン(Computer Vision)の開発をスパコンで実行する。これらAIモデルはアルゴリズムが巨大化し、その教育で大規模な演算が発生する。パラメータの数が1兆個を超え、もはや、スパコン無しにはAIを開発することができない。

自然言語解析：有害コンテンツを検知

自然言語解析はソーシャルネットワークの有害情報(Harmful Contents)を検知するために使われる。FacebookやInstagramで、フェイクニュースやヘイトスピーチが拡散し、社会問題となっている。今では、ワクチンに関する偽情報が拡散し(下の写真)、ワクチン忌避者が増えている要因とされる。これら有害情報をAIで正確に検知する技術は確立されておらず、ソーシャルネットワークの責任が厳しく問われている。

出典: Meta

Few-Shot Learning

AIが有害情報を正確に検知できない理由は、教育データが不足しているため。アルゴリズムを教育するには、大量のデータを必要とするが、有害情報に関するデータは少ない。例えば、ワクチンに関する偽情報は、少ないだけでなく、その内容は短期間で移り変わる。このため、Metaは少ない事例でAIを教育する「Few-Shot Learning」という技法を開発している。このモデルで判定精度を上げるためには、アルゴリズムのサイズを大きくする必要があり、AIが巨大になる。大規模なモデルを教育するためにスパコンが必須のインフラとなる。

コンピュータビジョン：メタバースの開発

次世代プラットフォームであるメタバースを開発するために、スパコンが必要となる。メタバースは３D仮想社会で、利用者はアバターを介し、オブジェクトとインタラクションする(下の写真)。メタバースにアクセスするためにAR・VR・MRグラスが使われ、デバイスに仮想社会が生成される。高品質な仮想社会を生成するためにコンピュータビジョンが重要な役割を果たし、この開発でスパコンが必須となる。

出典: Meta

システム構成

スパコンのプロセッサにはNvidiaのAIシステム「NVIDIA DGX A100」(下の写真)が使われる。このシステムはNvidiaの最新プロセッサ「A100」を8台搭載した構成で(①の部分)、高速ネットワーク「InfiniBand」で通信する。スパコンは16,000台のA100を搭載し、最大性能は5 exaflopsとなる。スパコンはDGXを連結したクラスタ構成で、AI Research SuperClusterと呼ばれる。

出典: Nvidia

巨大テックがAIスパコンを開発

アルゴリズムが巨大化の道をたどり、AI開発ではスパコンが必須の計算環境となる。Googleは大規模アルゴリズムの開発でAIクラスター「Cloud TPU」を使っている。Microsoftは独自でAIスパコンを開発し、大規模言語モデルを開発している。これからは、メタバースの開発で高速プロセッサが必須となり、スパコンの用途が拡大することになる。

Meta(Facebook)はNFT市場に参入か、メタバースでデジタルアセットの販売を計画

Meta(Facebook)は、NFT市場に参入し、メタバースでデジタルアセットを販売することを計画している。NFTとはNon-Fungible Tokenの略で、デジタルアセットなどモノの所有権を示す証文(Token)となる。簡単に複製できるデジタルアセットにNFTを付加し、ブロックチェインで商取引を実行する。デジタルアートが破格の価格で取引され、NFT市場がにわかに注目を集めている。

出典: Meta

MetaのNFT計画

これはFinancial Timesが報道したもので、MetaはNTF市場に参入し、ここでコレクタブルを販売することを計画している。具体的には、Meta配下のFacebookとInstagramは、利用者のプロフィールにNFTを掲載する機能を搭載する。また、利用者が、これらソーシャルメディアで、NFTを生成することもできる。更に、MetaはNFTのマーケットプレイスをオープンし、ここでNFTの売買を行う。実際に、Metaが発表したメタバースには、NFTを購買するシーンがあり(上の写真)、最終的には仮想社会でデジタルアセットの販売で使われる。

NFTとは

そもそもNFTとは、ブロックチェインで構成されるトークンで、デジタルアセットなどの所有権を示す証文となる。NFTのデータは、ブロックチェインの分散データベースで安全に管理される。現在、NFTで使われるブロックチェインは「Ethereum」が殆どで、事実上の業界標準となっている。NFTは、Ethereumのスマート契約機能「Smart Contracts」を使い、インテリジェントに処理を実行する。事前に設定されたルール(契約)に基づき、人間の介在無しに、ソフトウェアが売買のトランザクションを実行する。NFTにより、デジタルアセットの所有権が証明され、デジタルアセットの売買をクラウド上で実行できる。(厳密には、NFTはトークンであるが、今では、NFTが付与されたデジタルアセットもNFTと呼んでいる。)

NFTマーケットプレイス

NFTの市場規模は400億ドルといわれ、その規模が急拡大している。NFTはマーケットプレイスというわれるサイトで売買される。この市場のリーダーは、ニューヨークに拠点を置く新興企業OpenSeaで、NFTブームで急成長している。OpenSeaは、オンラインサイトでNFTを生成する機能を提供しており、クリエータはここでデジタルファイルをNTFに変換する。生成したデジタルアセットをマーケットプレイスに掲載して販売する。このサイトには、デジタルアートやコレクタブルなど、幅広いNFTが掲載されている。OpenSeaはEthereumで構成されたシステムで、売買は暗号通貨「ETH(Ethereum)」などで実行される。(下の写真、OpenSeaに掲載されているデジタルアート、希望価格は2 ETH (5,456.42ドル)で、オークション方式で販売されている。)

出典: OpenSea

NFTの生成方法

NFTは誰でも簡単に制作することができる。OpenSeaのケースでは、作成画面の指示に沿ってデータを入力していくと、NFTを生成できる。イメージやビデオやオーディオなどをNFTに変換することができる。これらデジタルファイルをアップロードして、NFTに変換するプロセスとなる。この処理は「Mint」といわれ、デジタルファイルに所有者を証明するトークンを生成する作業となる。生成されたトークンはブロックチェインに安全に保管される。Mintのプロセスは有料で、利用者は処理費用「Gas Fee」を支払う。生成したNFTをマーケットプレイスで販売するが、作品が売れると手数料を支払う構造となる。

デジタルアートが高値で売れる

デジタルアートが高値で売れ、NFTブームが続いている。先月、NFTマーケットプレイスNifty Gatewayで、デジタルアートが91,806,519ドル(約104億円)で販売された。これはPakが制作した「Merge」という作品で(下の写真)、コンピュータで制作され、デジタルファイルとして売られた。ファイルには証明書NFTが添付され、これがアートの所有権を示す。(「Merge」は312,686のユニットから構成され、28,983人が購入した。一つのデジタルアートが312,686のNFTで構成されるという特異な構成。作品が転売されるごとにトークンがマージ(Merge)し、その数が減り、作品の価値が上がると説明している。)

出典: Merge by Pak

NFT市場の危険性

今では、アートやコレクタブルや写真などがNFTで販売され、デジタルアセットが投資の対象となっている。株式取引とは異なり、NFTへの法規制は無く、トランザクションで詐欺や不正行為が発生しているのも事実である。生まれたての技術で、新しいビジネスモデルが市場で試されている段階で、NFT購入には高度な判断が求められる。

Meta(Facebook)はメタバースを構成する基礎技術の開発を加速、AR・VR技術を飛躍的に進化させリアルとバーチャル空間を融合する

Facebookは開発者会議Connect 2021で、メタバース(Metaverse)構想を明らかにした。メタバースとはインターネットに構築される３D空間で、次世代ソーシャルネットワークはここに構築される。メタバースは現実空間と仮想空間が融合したもので、ここで人々が交流しビジネスが営まれる。(下の写真、メタバースに構築されたオフィス)

出典: Meta

メタバースを構成する技術

メタバースを構築する基礎技術はAR(拡張現実)とVR(仮想現実)で、これらを融合しMR(複合現実)を生成する。これらがメタバース研究所「Facebook Reality Labs」で開発されている。現在のAR・VRを飛躍的に進化させ、リアルとバーチャルを融合したMR空間を生成する。Metaはメタバースをモバイルの次のプラットフォームと位置付け、AppleやGoogleに依存しないインターネットを生成する。(下の写真、現実空間に仮想オブジェクトを融合したMR空間。)

出典: Meta

メタバースを生み出す技術：Presence Platform

Metaが開発しているメタバースは、リアル社会とバーチャル社会を滑らかに融合するもので、これを生み出す技術は「Presence Platform」と呼ばれる。このプラットフォームは、コンピュータビジョンとAIが核となり、仮想オブジェクトを現実空間に組み込むためのモジュールから構成される。具体的には、MR(Mixed Reality)、オブジェクトのインタラクション、ボイスのインタラクションを生成する機能を提供する。MRとは、上述の通り、複合現実で、現実空間と仮想空間を融合し、メタバースの中心機能となる。

Presence Platformは三つのSDK(Software Development Kit)から構成される：

  • Insight SDK：現実空間に仮想オブジェクトを組み込みMRを生成する技術
  • Interaction SDK：手で仮想オブジェクトを操作する技術
  • Voice SDK：会話を理解する機能で言葉で仮想オブジェクトを操作する技術

SDKとはソフトウェア開発キットでエンジニアはこれらの機能を使ってメタバースを開発する。

MR空間を生成する技術：Insight SDK

Insight SDKはメタバースの中心技術で、高品質なMR空間を生成する。Insight SDKは「Passthrough」と「Spatial Anchors」の二つの機能から成る。

Passthrough機能

PassthroughはVRヘッドセットを介してMR空間を生成する技術で、現実空間に仮想オブジェクトを描写する。下の写真はOculus Quest 2を介してピアノのレッスンを受けている様子。ピアノの鍵盤に円形の仮想オブジェクトを表示し、これを指で叩くと音楽を演奏できる。Oculus Quest 2はカメラを搭載しており、前方のイメージを白黒で見ることができる。Oculus Quest 2はVRだけでなく、MRグラスとしての機能がある。

出典: Meta

Spatial Anchors機能

Spatial Anchorsはハンドセットで現実空間をマッピングする機能。下の写真はOculusのハンドセットを置かれた家具に沿って動かし、部屋の中をマッピングしている様子。システムは現実空間の構造を理解して、それに応じて仮想オブジェクトを表示するために使われる。

出典: Meta

Scene Understanding機能

Scene Understandingはユーザ空間を理解する機能で、空間の位置関係やその意味などを理解する。この中のScene Modelを使って部屋の中にMR空間を生成する。下の写真は部屋の空間に仮想オブジェクト(暖炉や窓の外の景色)を挿入しMR空間を生成したもの。このようにPassthrough、Spatial Anchors、Scene Understandingを使って、複雑で、かつ、物理空間の意味を理解したメタバースを開発できる。

出典: Meta

手の動きを表現する技術：Interaction SDK

Interaction SDKは手やハンドセットの動きを仮想空間の中で表現するために使われる。手で仮想オブジェクトを掴んだり、触ったり、ポイントするなどの動作を司る。下の写真は、手で仮想のコーヒーマグの取ってを掴んでいる様子。Interaction SDKは、コンピュータビジョン使い、AIが手の動きをトラックし、オブジェクトとのインタラクションを把握する。

出典: Meta

話し言葉を理解する技術：Voice SDK

Voice SDKは自然言語解析の機能で、話し言葉により、ハンズフリーのオペレーションができる。これをゲームに適用すると、音声でプレーするゲームを開発できる。Voice SDKは、音声でのナビゲーションの他に、音声での検索や、音声でのQ&A機能を提供する。下の写真は、仮想のキャラクター「Oppy」の名前を呼ぶと、言葉の意味を理解して近づいてくる。

出典: Meta

次世代VRヘッドセット：Project Cambria

Metaは次世代のVRヘッドセットを開発している。このプロジェクトは「Project Cambria」と呼ばれ、ハイエンドのVRヘッドセットとなる。Project CambriaはSocial Presence機能やカラーのPassthrough機能を備えている。現在、Metaは消費者向けにVRヘッドセットOculus Quest 2を販売しているが、Project Cambriaはこの後継モデルではなく、ハイエンドの製品ラインとなる。

出典: Meta

モバイル向けAR：Spark AR

「Spark AR」はモバイル向けのAR開発環境で、既に多くのコンテンツが開発されている。これはMobile ARと呼ばれ、スマホのアプリに組み込んで利用する。例えば、顔に特殊効果を挿入する際にSpark ARが使われる。下の写真は、Spark ARで顔に特殊メイクを施し、妖怪に変身する事例。Metaは、このSpark ARを拡張し、メタバース向けに高度なARを開発している。

出典: Meta

ARグラス：Project Aria

MetaはARグラス「Project Aria」を開発している(下の写真右側)。これは、グラスにカメラとディスプレイを搭載した構造で、目の前の現実空間に仮想オブジェクトをインポーズする。ARグラスはDigital Assistantとなり、AIが周囲のオブジェクトの種別や意味を理解する(下の写真左側、ソファーやテーブルを認識する)。更に、AIは利用者の意図を把握して、次の行動をアシストする。利用者が電灯に視線を向けると、スイッチががオンになるなどの機能がある。

出典: Meta

ARグラスへの入力：Electromyography

ARグラスにデータを入力する方法が課題になるが、MetaはElectromyography(筋電図)という技法を開発している。これは筋肉で発生する微弱な電場をAIで解析することで、その意図を推定するもの。手首にデバイスを装着しElectromyographyを計測する。指でアルファベットを書くと、このデバイスがテキストに変換する(下の写真、テキストメッセージを入力している様子)。

出典: Meta

コンセプトの段階

Metaはメタバースの概要を始めて公開したが、これらはまだ製品ではなく、コンセプトの段階である。今回の発表はProof of Conceptを示し、メタバースが完成した時の製品イメージを提示することを目的とした。これによると、AR・VR・MR技術が大きく進化し、メタバースは現実空間と仮想空間が滑らかに融合した社会であることが分かった。一方、メタバースはより深い個人データを使うことも分かり、個人情報の保護がより厳しく求められる。

Facebookは社名を「Meta」に変更しメタバース企業となる、３D仮想空間で人々が交流するプラットフォームを開発する

Facebookは、開発者会議「Connect 2021」で、ソーシャルメディア企業からメタバース(Metaverse)企業になることを発表した。CEOのMark Zuckerbergがメタバース空間で明らかにしたもので(下の写真)、これに伴い、社名も「Facebook」から「Meta」に変更する。Facebookは創設以来最大の危機に直面しており、社名を変えることで、新生企業として再出発する。一方、Metaが開発しているメタバースは、従来の技法から大きく進化したもので、スマホの次のプラットフォームになる可能性を秘めている。

出典: Meta

メタバースとは

メタバースとは、インターネットに構築された３D仮想社会で、ここに人々が集い交流する。従来のVR空間とは異なり、メタバースでは利用者が仮想社会と連動し、そこに存在している感覚「Social Presence」を覚える。次世代のソーシャルネットワークはメタバースに構築される。Facebookは、メタバースをモバイル・インターネットの次のプラットフォームとして位置付け、技術的に大きな飛躍となる。但し、メタバースは今すぐに使えるサービスではなく、完成までに時間を要すことも明らかにした。Facebookはそのビジョンを示したもので、これに向かって技術開発が進んでいる。 (下の写真、メタバースの事例、無重力空間で友人同士がアバターを介して交流している様子。)

出典: Meta

家庭向けのメタバース

Zuckerbergは基調講演で、メタバースの様々な利用方法を紹介した。その一つが家庭向けのメタバースで、「Horizon Home」と呼ばれる。これはVRヘッドセット「Oculus」を着装して利用するサービスで、複数の友人がメタバースに集い、それぞれのアバターを介して交流する(下の写真)。お互いに会話するだけでなく、グループでゲームをプレーするなど、アバター同士がインタラクションできることに特徴がある。

出典: Meta

企業向けのメタバース

今回の発表に先立ち、Facebookは企業向けのメタバースを発表している。これは、「Horizon Workrooms」と呼ばれ、遠隔勤務向けのコラボレーションシステムとなる。社員はアバターを介してビデオ会議に出席し、他の社員とインタラクションしながら、会議を進める(下の写真)。ホワイトボードに説明資料を表示するなど、リアルのオフィスを仮想空間に構築する。

出典: Meta

メタバースでゲームをプレー

ゲームはメタバースの重要なアプリケーションで、既に数多くのコンテンツが開発されている。ARグラスを着装すると、海外に住む友人とチェスを対戦することができる(下の写真)。また、VRヘッドセットを着装すると、没入型のゲームを体験できる。OculusはVRゲームを数多く開発しおり、ヒット商品は「Beat Saber」で、飛んでくる物体を刀で切り落とす。

出典: Meta

メタバースでフィットネス

近年は、ジムでエクササイズをする代わりに、自宅でVRヘッドセットを着装してトレーニングする人が増えた。フィットネスバイクは、仮想のスタジオで、インストラクターの指示に従ってペダルを漕ぐ(下の写真)。また、「Supernatural Boxing」シリーズは、VRボクシングを通したエクササイズで、巨大なモンスターと対戦する。

出典: Meta

仮想空間で教育

メタバースは教育プラットフォームとして使われる。ARグラスを着装して土星を見ると、目の前にその構造が描写される。土星の環の中に入ると、無数の氷の塊で構成されていることが分かる。また、VRヘッドセットを着装すると、古代ローマの都市に降り立つことができる(下の写真)。市場で売られている魚や果物を見て、街の賑わいを感じる。また、建造物のアーキテクチャや建設方法を学ぶことができる。

出典: Meta

社名の変更

Zuckerbergは、社名を「Facebook」から「Meta」に変更したことを明らかにし、その理由をメタバース企業に転身するためと説明した。Metaはギリシャ語で「Beyond」という意味で、ソーシャルネット―ワークの次の章が始まることを示している。既存サービスの名称はそのままで、Metaの配下でFacebook、Instagram、WhatsAppがビジネスユニットとして事業を継続する。(下の写真、本社の前のパネルは新しいロゴに置き換わっている。)

出典: Meta

Facebook Papers

いま、Facebookは創業以来最大の危機に直面している。Facebookの元社員が、社内資料を公開し、会社は利用者の安全を犠牲に利益を上げていると告発した。持ち出された大量の社内資料は「Facebook Papers」と呼ばれ、Facebookのアルゴリズムやビジネス慣行が記載されている。Zuckerbergはこの危機を乗り越えるため、社名をMetaとし、新生企業として出直しを図り、社会からの批判を避ける思惑もある。

Facebookは人間の日常生活でAIを教育、ARグラスに搭載しアルゴリズムが利用者の視覚や聴覚をエンハンス

Facebookは人間の視線で周囲の状況を把握するAIの研究を開始した。このプロジェクトは「Ego4D」と呼ばれ、人間の視線で捉えたデータ(下の写真)でアルゴリズム教育することで、AIは実社会でインテリジェントな能力を発揮する。これをARグラスやVRヘッドセットに搭載することで、AIがアシスタントとなり利用者の視覚や聴覚をエンハンスする。また、これをロボットに搭載すると、実社会で自律的に稼働する機能を得ることができる。

出典: Facebook

当事者の視点で環境を理解

コンピュータビジョンの進化でAIはオブジェクトを認識しその種別を正確に判定する。しかし、これらのAIは第三者視点(third-person perspective、下の写真左側)で開発されたもので、傍観者としてオブジェクトを判定する。これに対し、Facebookは第一者視点(first-person perspective、右側)でアルゴリズムを教育する研究を開始した。この技法は「Egocentric Perception」と呼ばれ、開発されたAIは当事者の視点でオブジェクトを判定できるようになる。これをARグラスやVRヘッドセットに搭載すると、AIがアシスタントとして周囲の状況を把握し最適な助言を行う。また、ロボットへ適用すると、AIが視覚となり実社会の中を自律的に稼働するシステムにつながる。(下の写真はサイクリングに関する画像認識の判定結果。第三者視点で開発されたAIの判定精度は高いが(左側)、第一者視点で開発されたAIの判定精度はまだ低い(右側)。)

出典: Facebook

開発したAIの利用方法

FacebookはARグラスの開発を進めており、その第一弾としてスマートグラス「Ray-Ban Stories」を発表した。これから製品化されるARグラスには第一者視点のAIが搭載され、インテリジェントなアシスタントとして使われる。AIが周囲のオブジェクトを見てその種別などを把握する。例えば、ARグラスで日常生活を録画しておくと、AIはこれを解析して利用者の質問に回答する。「祖母の腕時計をどこに片づけた」と質問すると、AIは過去のビデオを解析し、ARグラスにその場所を表示する(下の写真)。

出典: Facebook

大学との共同開発

利用者の視点でオブジェクトを判定するAIを開発するためには、アルゴリズムを教育するための大量のデータが必要になる。このため、Facebookは各国の大学と共同研究をすすめ、利用者視点のデータを集約して教育のためのデータセットを開発している(下の写真)。世界から13の大学が参加しているが、日本からは東京大学がこのプロジェクトに加わっている。

出典: Facebook

データセットの構成

開発者はスマートグラスなどを着装してカメラで日常生活を録画する。これら録画されたビデオにその意味を付加して、生活の中での動きとその説明文のペアを作る。これらのビデオを集約したデータセットを構築し、これらのデータを使ってAIを教育するプロセスとなる。日常生活の様式は国により異なり、Facebookは主要国の大学と共同でこれを進めている。(下の写真；皿洗いを撮影したビデオで、左からサウジアラビア、イタリア、ルワンダの事例となる。)

出典: Facebook

アルゴリズム教育

次は、生成したデータセットを使ってアルゴリズムを教育するステップとなる。ここがAI開発のコアで、Facebookはこれを研究課題として提示し、大学や研究機関の研究者がこれに挑戦する形式をとる。チャレンジは五つのテーマから構成される。

  • イベントの記憶(Episodic memory): AIはいつどこで何があったかを把握。(上述の事例の通り、祖母の腕時計をどこに格納したかを把握。)
  • 予測(Forecasting): AIはビデオをみて次のアクションを予測。
  • 手作業(Hand and object manipulation): AIは手の動きからどんな作業をしているかを把握。(ドラムを演奏する方法を把握し、それを教える(下の写真)。)
  • 音声映像の記録(Audio-visual diarization): AIはだれが何を言ったかを把握。
  • 人間関係(Social interaction): AIは誰と誰が会話しているかなど人間関係を把握。
出典: Facebook

AIビジョンの進化

AI開発でオブジェクトの形状を把握するコンピュータビジョンが急成長しているが、アルゴリズムを教育するためのデータセットが技術進化を支えている(下の写真)。AI開発の初期には手書き文字を判読するためのデータセット「MNIST」が開発された。コンピュータビジョンが急速に進化したのは、イメージのデータセット「ImageNet」の存在が大きい。ここには大量の写真とタグが格納され、これによりAIが人間の視覚を上回った。これらはすべて第三者視点のデータセットで、Ego4Dが第一者視点の最初のデータセットとなる。

出典: Facebook