カテゴリー別アーカイブ: Facebook

Metaはメタバース向けAIの研究成果を公表、リアルな仮想社会を生成するにはイメージ・ボイス・テキストなどマルチメディアを理解するAIが必要不可欠

Metaはメタバース向けに高度なAIを開発していることを明らかにした。メタバースは3D仮想社会で、ここに人々が集い、ビジネスが興隆する。仮想社会は、イメージやボイスやテキストなど、マルチメディアで構成される。AIがこれらを理解し、リアルな仮想空間を生成する。

出典: Meta

言葉で仮想社会を生成

Metaは音声でイメージを生成する技術「Builder Bot」を開発している。話し言葉で、海や砂浜やヤシの木を描くよう指示すると、Builder Botはこれに従って作画する(下の写真)。この機能はメタバースで仮想空間を生成するための基礎技術となる。また、この技術は人間のデジタルツインであるアバターを生成するためにも使われる。話し言葉でアバターの洋服をデザインでき、「Paint me a style of Gauguin」と指示すると、ゴーギャン風のファッションが生成される。

出典: Meta

125の言語を同時通訳

Metaは多言語を翻訳するシステム「LASER (Language-Agnostic SEntence Representations)」を開発した。言語翻訳でAIが使われているが、主要言語が対象で、翻訳できる言語の数は限られている。Metaは翻訳する言語の数を一気に125に拡張した。言語モデルの開発では、数多くの教育データが必要だが、LASERは数少ないサンプルで教育できることが特徴となる。メタバースでは、ARグラスを介し、言語をリアルタイムで翻訳し、異なる国の人々がコミュニケーションできる(下の写真)。これによりメタバースでは世界の国境がなくなる。

出典: Meta

高度な会話型AI

Metaは人間のように会話するAIモデル「Project CAIRaoke」を開発した。会話型AIは一般にBotと呼ばれ、AIは人間の秘書のように、対話を通じて指示された内容を実行する。一般に、会話型AIは、自然言語解析(Natural Language Understanding)、会話ポリシー管理(Dialogue Policy Management)、自然言語生成(Natural Language Generation)など複数のモジュールから形成される。Project CAIRaokeはこれらを統合し、単一のAIで形成されていることに特徴がある。Project CAIRaokeは、タスクを実行することを目的に開発され、指示された内容をアクションに移すために使われる。(下の写真、AIにレストランの予約を指示している様子。)

出典: Meta

ARグラス向けコンピュータビジョン

Metaは人間の視線で周囲の状況を把握するAI「Ego4D」の開発を進めている。人間の視線で捉えたデータでアルゴリズム教育すると、AIは実社会でインテリジェントな能力を発揮する。これをARグラスに搭載することで、AIがアシスタントとなり利用者の視覚や聴覚をエンハンスする。例えば、ARグラスを着装してスープを調理すると、Ego4Dは食材を把握し、その使い方を教えてくれる(下の写真)。

出典: Meta

センサーのデータを解析

メタバースでは、イメージやボイスやテキストの他に、センサーが収集する情報の処理がカギとなる。リストバンドを着用すると、指を動かすだけでエアータイプできる(下の写真)。リストバンドから筋肉のシグナルを読み取り、AIがその意図を把握し、どのキーボードが押されたかを把握する。また、触覚センサーを着装して、仮想オブジェクトに触ると、AIがその感触をフィードバックする。この処理では、AIがセンサーの情報を読み込み、それを解析して、感触を出力する。

出典: Meta

AI開発はメタバースにシフト

MetaはAI研究を「Meta AI」に集約し、ここでFacebookとメタバース向けのAI基礎研究が進められている。Facebook向けのAI研究は「Facebook Artificial Intelligence Research (FAIR)」で行われてきたが、Meta AIがこの組織を継承した。MetaはAI開発戦略を見直し、ソーシャルメディアからメタバースに開発の比重をシフトしている。今では、MetaのAI研究者の1/3がメタバースの開発に携わっているとされる。AI基礎研究でもMetaは、ソーシャルメディア企業からメタバース企業に転身している。

Metaは大規模AI言語モデル「OPT-175B」を開発、これを無償で提供することを発表、オープンサイエンスの手法でAIの危険性を解明する

Metaは大規模なAI言語モデル「Open Pretrained Transformer (OPT-175B)」を開発し、これを無償で提供することを明らかにした。世界の研究者は、最先端のAIを自由に使うことができ、これにより自然言語解析の研究が進むことが期待される。AIモデルは、その規模が拡大すると、アルゴリズムが新たなスキルを習得することが知られている。同時に、アルゴリズムが内包する危険性が増大し、社会に甚大な被害を及ぼすことが問題となっている。Metaはオープンサイエンスの手法で研究を進め、AIの危険性を解明することを目指している。

出典: Meta

OPT-175Bとは

Metaが開発したOPT-175Bとは大規模な言語モデルで、自然言語解析(Natural Language Processing)と呼ばれる言葉を理解する機能を持つ。OPT-175BはTransformerベースの言語モデルで、MetaのAI研究所「Meta AI」で開発された。OPTの規模はパラメータの数で示され、最大構成の175B(1750億個)から最小構成の125M(1億2500万個)まで、八つのモデルで構成される。

OPT-175Bの機能

OPT-175Bは、人間の指示に従って文章を作成し、数学の問題を解き、会話する機能を持つ。OPT-175Bの特徴は、言語モデルの中でもパラメータの数が175Bと、世界最大規模のニューラルネットワークであること。このため、アルゴリズムが人間のように高度な言語機能を発揮することができる。

OPT-175Bは人間の指示に従って文章を生成することができる(下の写真)。OPT-175Bに、「人事評価面接をテーマとする詩を生成」するよう指示すると(下の写真太字の部分)、アルゴリズムはそれに沿って文章を生成する(細字の部分)。「良い評価を得たが、上司は一層の改善が必要と述べた。自分でも分かっており、努力しているが、なかなか難し。」などと、人間の心情を綴る詩を生成。

出典: Susan Zhang et al.

ライセンス

MetaはOPTのコードと教育済みのモデルを無償で提供することを明らかにした。大学や政府や企業の研究者が対象となり、利用申請すると審査を経て、使用を許諾される手順となる(下の写真)。また、教育済みの小型モデルは、既にGitHubに公開されており、自由に利用できる。但し、利用目的は研究開発に限定され、OPTを使ってビジネスをする形態は認められていない。

出典: Meta

AI開発の現状

GoogleやMicrosoftなど巨大テックは、大規模なAI言語モデルを競い合って開発しているが、これらは社内に閉じ、クローズドな方式で進められている。研究成果は論文として公開されているが、ここにはコードや開発手法は記載されておらず、他の研究者が成果を検証することはできない。つまり、現在のAI開発はクローズドソースの方式で進められ、巨大テックがその知的財産を独占している形態となっている。

AIを公開する理由

これに対しMetaは、OPT-175Bを無償で公開し、世界の研究者が自由に利用できる方針を選択した。大学や政府や民間の研究コミュニティで、大規模AI言語モデルの研究をオープンな形式で進めることで、研究開発が加速するとみている。特に、AIの危険性を解明する研究が進み、言語モデルの理解が深まり、責任あるAI開発が可能となると期待している。

出典: Meta

GPT-3との対比

Metaが開発したOPT(Open Pretrained Transformer)は、OpenAIが開発したGPT(Generative Pre-trained Transformer)に対峙する構造となっている。OPTという名称は、GPTをオープン化したもの、という意味を含んでいる。また、OPT-175Bのパラメータの数は、あえて、GPT-3の175Bと同じ数字とした。Transformerという同じアーキテクチャを採用し、その規模も同じとし、OPTは世界最先端のAI言語モデルを無償で公開することをアピールしている。(下の写真、OPTの性能(丸印)はGPTの性能(✖印)と互角であることを示している。)

出典: Susan Zhang et al. 

オープンサイエンス

MetaはOPT-175B以前から、オープンサイエンスの手法でAI技術を改良するプログラムを展開してきた。「Deepfake Detection Challenge」は、フェイクビデオを検知する技術をコンペティションの形式で競うもの。「Hateful Memes Challenge」は、ヘイトスピーチなど有害なコンテンツを検知する技術の開発で、Metaは開発コミュニティと共同でこれを開発する。OPT-175Bでは、コミュニティでアルゴリズムの研究を進め、AIの持つ危険性を理解する。

ヘイトスピーチ検知のコンペティション

Metaは「Hateful Memes Challenge」でヘイトスピーチのデータベースを公開し(下の写真)、研究者はこれを使ってヘイトスピーチ検知のアルゴリズムを開発した。AIがヘイトスピーチを判別するのは難しく、これをオープンサイエンスの手法で開発した。「Umbrella upside down (傘がひっくり返る)」という言葉は、状況に応じてヘイトスピーチとなる(下の写真最下段)。これは「名声が内に向かってしぼむ」という意味もあり、使い方によって相手を傷つける表現となる。ヘイトスピーチの判別は人間でも難しいが、アルゴリズム開発が進んでいる。

出典: Meta

Facebookの教訓

AI言語モデルの開発は、巨大テックが企業内に閉じて進めており、外部の研究者は、開発内容をうかがい知ることはできない。Metaは、AIコミュニティに大規模言語モデルを公開することで、信頼できるAIを開発できると目論んでいる。この背後には、FacebookやInstagramのコンテンツ配信で、アルゴリズムが不透明で、偽情報が拡散し、社会が不安定になったという事実がある。Metaはこれらの教訓を生かし、AI開発ではオープンな戦略を取り、信頼できるAIの開発を進めている。

Meta(Facebook)は世界最速のスパコンを開発、AIとメタバースは高性能プロセッサが勝敗を分ける

Meta(Facebook)は、今週、スパコンを開発していることを明らかにした。最大性能は5 Exaflopsで世界最速のマシンとなる。Metaが独自でスパコンを開発するのは、AIとメタバースの開発で、大量の演算処理が必要になるため。AI開発ではアルゴリズムの規模が巨大化し、その教育には高速プロセッサが必須となる。メタバースはAIと密接に関連し、3D仮想社会を生成するには、高精度なコンピュータビジョンが求められる。

出典: Meta

スパコンの概要

Metaは、スパコンを「AI Research SuperCluster(RSC)」(上の写真)と呼び、AI研究のための高速計算機と位置付ける。今年中旬の完成を予定しており、演算性能はExaflopsを超える。(Exaflopsとは1秒間に10の18乗(10^18)の演算を実行する性能。) 現在、最速のマシンは442 Petaflops (0.442 Exaflops)で、ついにスパコンがExaの領域に入ることになる。

研究テーマ

スパコンは、名前が示しているように、AI研究で使われる。Metaは、自然言語解析(Natural Language Processing)やコンピュータビジョン(Computer Vision)の開発をスパコンで実行する。これらAIモデルはアルゴリズムが巨大化し、その教育で大規模な演算が発生する。パラメータの数が1兆個を超え、もはや、スパコン無しにはAIを開発することができない。

自然言語解析:有害コンテンツを検知

自然言語解析はソーシャルネットワークの有害情報(Harmful Contents)を検知するために使われる。FacebookやInstagramで、フェイクニュースやヘイトスピーチが拡散し、社会問題となっている。今では、ワクチンに関する偽情報が拡散し(下の写真)、ワクチン忌避者が増えている要因とされる。これら有害情報をAIで正確に検知する技術は確立されておらず、ソーシャルネットワークの責任が厳しく問われている。

出典: Meta

Few-Shot Learning

AIが有害情報を正確に検知できない理由は、教育データが不足しているため。アルゴリズムを教育するには、大量のデータを必要とするが、有害情報に関するデータは少ない。例えば、ワクチンに関する偽情報は、少ないだけでなく、その内容は短期間で移り変わる。このため、Metaは少ない事例でAIを教育する「Few-Shot Learning」という技法を開発している。このモデルで判定精度を上げるためには、アルゴリズムのサイズを大きくする必要があり、AIが巨大になる。大規模なモデルを教育するためにスパコンが必須のインフラとなる。

コンピュータビジョン:メタバースの開発

次世代プラットフォームであるメタバースを開発するために、スパコンが必要となる。メタバースは3D仮想社会で、利用者はアバターを介し、オブジェクトとインタラクションする(下の写真)。メタバースにアクセスするためにAR・VR・MRグラスが使われ、デバイスに仮想社会が生成される。高品質な仮想社会を生成するためにコンピュータビジョンが重要な役割を果たし、この開発でスパコンが必須となる。

出典: Meta

システム構成

スパコンのプロセッサにはNvidiaのAIシステム「NVIDIA DGX A100」(下の写真)が使われる。このシステムはNvidiaの最新プロセッサ「A100」を8台搭載した構成で(①の部分)、高速ネットワーク「InfiniBand」で通信する。スパコンは16,000台のA100を搭載し、最大性能は5 exaflopsとなる。スパコンはDGXを連結したクラスタ構成で、AI Research SuperClusterと呼ばれる。

出典: Nvidia

巨大テックがAIスパコンを開発

アルゴリズムが巨大化の道をたどり、AI開発ではスパコンが必須の計算環境となる。Googleは大規模アルゴリズムの開発でAIクラスター「Cloud TPU」を使っている。Microsoftは独自でAIスパコンを開発し、大規模言語モデルを開発している。これからは、メタバースの開発で高速プロセッサが必須となり、スパコンの用途が拡大することになる。

Meta(Facebook)はNFT市場に参入か、メタバースでデジタルアセットの販売を計画

Meta(Facebook)は、NFT市場に参入し、メタバースでデジタルアセットを販売することを計画している。NFTとはNon-Fungible Tokenの略で、デジタルアセットなどモノの所有権を示す証文(Token)となる。簡単に複製できるデジタルアセットにNFTを付加し、ブロックチェインで商取引を実行する。デジタルアートが破格の価格で取引され、NFT市場がにわかに注目を集めている。

出典: Meta

MetaのNFT計画

これはFinancial Timesが報道したもので、MetaはNTF市場に参入し、ここでコレクタブルを販売することを計画している。具体的には、Meta配下のFacebookとInstagramは、利用者のプロフィールにNFTを掲載する機能を搭載する。また、利用者が、これらソーシャルメディアで、NFTを生成することもできる。更に、MetaはNFTのマーケットプレイスをオープンし、ここでNFTの売買を行う。実際に、Metaが発表したメタバースには、NFTを購買するシーンがあり(上の写真)、最終的には仮想社会でデジタルアセットの販売で使われる。

NFTとは

そもそもNFTとは、ブロックチェインで構成されるトークンで、デジタルアセットなどの所有権を示す証文となる。NFTのデータは、ブロックチェインの分散データベースで安全に管理される。現在、NFTで使われるブロックチェインは「Ethereum」が殆どで、事実上の業界標準となっている。NFTは、Ethereumのスマート契約機能「Smart Contracts」を使い、インテリジェントに処理を実行する。事前に設定されたルール(契約)に基づき、人間の介在無しに、ソフトウェアが売買のトランザクションを実行する。NFTにより、デジタルアセットの所有権が証明され、デジタルアセットの売買をクラウド上で実行できる。(厳密には、NFTはトークンであるが、今では、NFTが付与されたデジタルアセットもNFTと呼んでいる。)

NFTマーケットプレイス

NFTの市場規模は400億ドルといわれ、その規模が急拡大している。NFTはマーケットプレイスというわれるサイトで売買される。この市場のリーダーは、ニューヨークに拠点を置く新興企業OpenSeaで、NFTブームで急成長している。OpenSeaは、オンラインサイトでNFTを生成する機能を提供しており、クリエータはここでデジタルファイルをNTFに変換する。生成したデジタルアセットをマーケットプレイスに掲載して販売する。このサイトには、デジタルアートやコレクタブルなど、幅広いNFTが掲載されている。OpenSeaはEthereumで構成されたシステムで、売買は暗号通貨「ETH(Ethereum)」などで実行される。(下の写真、OpenSeaに掲載されているデジタルアート、希望価格は2 ETH (5,456.42ドル)で、オークション方式で販売されている。)

出典: OpenSea

NFTの生成方法

NFTは誰でも簡単に制作することができる。OpenSeaのケースでは、作成画面の指示に沿ってデータを入力していくと、NFTを生成できる。イメージやビデオやオーディオなどをNFTに変換することができる。これらデジタルファイルをアップロードして、NFTに変換するプロセスとなる。この処理は「Mint」といわれ、デジタルファイルに所有者を証明するトークンを生成する作業となる。生成されたトークンはブロックチェインに安全に保管される。Mintのプロセスは有料で、利用者は処理費用「Gas Fee」を支払う。生成したNFTをマーケットプレイスで販売するが、作品が売れると手数料を支払う構造となる。

デジタルアートが高値で売れる

デジタルアートが高値で売れ、NFTブームが続いている。先月、NFTマーケットプレイスNifty Gatewayで、デジタルアートが91,806,519ドル(約104億円)で販売された。これはPakが制作した「Merge」という作品で(下の写真)、コンピュータで制作され、デジタルファイルとして売られた。ファイルには証明書NFTが添付され、これがアートの所有権を示す。(「Merge」は312,686のユニットから構成され、28,983人が購入した。一つのデジタルアートが312,686のNFTで構成されるという特異な構成。作品が転売されるごとにトークンがマージ(Merge)し、その数が減り、作品の価値が上がると説明している。)

出典: Merge by Pak

NFT市場の危険性

今では、アートやコレクタブルや写真などがNFTで販売され、デジタルアセットが投資の対象となっている。株式取引とは異なり、NFTへの法規制は無く、トランザクションで詐欺や不正行為が発生しているのも事実である。生まれたての技術で、新しいビジネスモデルが市場で試されている段階で、NFT購入には高度な判断が求められる。

Meta(Facebook)はメタバースを構成する基礎技術の開発を加速、AR・VR技術を飛躍的に進化させリアルとバーチャル空間を融合する

Facebookは開発者会議Connect 2021で、メタバース(Metaverse)構想を明らかにした。メタバースとはインターネットに構築される3D空間で、次世代ソーシャルネットワークはここに構築される。メタバースは現実空間と仮想空間が融合したもので、ここで人々が交流しビジネスが営まれる。(下の写真、メタバースに構築されたオフィス)

出典: Meta

メタバースを構成する技術

メタバースを構築する基礎技術はAR(拡張現実)とVR(仮想現実)で、これらを融合しMR(複合現実)を生成する。これらがメタバース研究所「Facebook Reality Labs」で開発されている。現在のAR・VRを飛躍的に進化させ、リアルとバーチャルを融合したMR空間を生成する。Metaはメタバースをモバイルの次のプラットフォームと位置付け、AppleやGoogleに依存しないインターネットを生成する。(下の写真、現実空間に仮想オブジェクトを融合したMR空間。)

出典: Meta

メタバースを生み出す技術:Presence Platform

Metaが開発しているメタバースは、リアル社会とバーチャル社会を滑らかに融合するもので、これを生み出す技術は「Presence Platform」と呼ばれる。このプラットフォームは、コンピュータビジョンとAIが核となり、仮想オブジェクトを現実空間に組み込むためのモジュールから構成される。具体的には、MR(Mixed Reality)、オブジェクトのインタラクション、ボイスのインタラクションを生成する機能を提供する。MRとは、上述の通り、複合現実で、現実空間と仮想空間を融合し、メタバースの中心機能となる。

Presence Platformは三つのSDK(Software Development Kit)から構成される:

  • Insight SDK:現実空間に仮想オブジェクトを組み込みMRを生成する技術
  • Interaction SDK:手で仮想オブジェクトを操作する技術
  • Voice SDK:会話を理解する機能で言葉で仮想オブジェクトを操作する技術

SDKとはソフトウェア開発キットでエンジニアはこれらの機能を使ってメタバースを開発する。

MR空間を生成する技術:Insight SDK

Insight SDKはメタバースの中心技術で、高品質なMR空間を生成する。Insight SDKは「Passthrough」と「Spatial Anchors」の二つの機能から成る。

Passthrough機能

PassthroughはVRヘッドセットを介してMR空間を生成する技術で、現実空間に仮想オブジェクトを描写する。下の写真はOculus Quest 2を介してピアノのレッスンを受けている様子。ピアノの鍵盤に円形の仮想オブジェクトを表示し、これを指で叩くと音楽を演奏できる。Oculus Quest 2はカメラを搭載しており、前方のイメージを白黒で見ることができる。Oculus Quest 2はVRだけでなく、MRグラスとしての機能がある。

出典: Meta

Spatial Anchors機能

Spatial Anchorsはハンドセットで現実空間をマッピングする機能。下の写真はOculusのハンドセットを置かれた家具に沿って動かし、部屋の中をマッピングしている様子。システムは現実空間の構造を理解して、それに応じて仮想オブジェクトを表示するために使われる。

出典: Meta

Scene Understanding機能

Scene Understandingはユーザ空間を理解する機能で、空間の位置関係やその意味などを理解する。この中のScene Modelを使って部屋の中にMR空間を生成する。下の写真は部屋の空間に仮想オブジェクト(暖炉や窓の外の景色)を挿入しMR空間を生成したもの。このようにPassthrough、Spatial Anchors、Scene Understandingを使って、複雑で、かつ、物理空間の意味を理解したメタバースを開発できる。

出典: Meta

手の動きを表現する技術:Interaction SDK

Interaction SDKは手やハンドセットの動きを仮想空間の中で表現するために使われる。手で仮想オブジェクトを掴んだり、触ったり、ポイントするなどの動作を司る。下の写真は、手で仮想のコーヒーマグの取ってを掴んでいる様子。Interaction SDKは、コンピュータビジョン使い、AIが手の動きをトラックし、オブジェクトとのインタラクションを把握する。

出典: Meta

話し言葉を理解する技術:Voice SDK

Voice SDKは自然言語解析の機能で、話し言葉により、ハンズフリーのオペレーションができる。これをゲームに適用すると、音声でプレーするゲームを開発できる。Voice SDKは、音声でのナビゲーションの他に、音声での検索や、音声でのQ&A機能を提供する。下の写真は、仮想のキャラクター「Oppy」の名前を呼ぶと、言葉の意味を理解して近づいてくる。

出典: Meta

次世代VRヘッドセット:Project Cambria

Metaは次世代のVRヘッドセットを開発している。このプロジェクトは「Project Cambria」と呼ばれ、ハイエンドのVRヘッドセットとなる。Project CambriaはSocial Presence機能やカラーのPassthrough機能を備えている。現在、Metaは消費者向けにVRヘッドセットOculus Quest 2を販売しているが、Project Cambriaはこの後継モデルではなく、ハイエンドの製品ラインとなる。

出典: Meta

モバイル向けAR:Spark AR

「Spark AR」はモバイル向けのAR開発環境で、既に多くのコンテンツが開発されている。これはMobile ARと呼ばれ、スマホのアプリに組み込んで利用する。例えば、顔に特殊効果を挿入する際にSpark ARが使われる。下の写真は、Spark ARで顔に特殊メイクを施し、妖怪に変身する事例。Metaは、このSpark ARを拡張し、メタバース向けに高度なARを開発している。

出典: Meta

ARグラス:Project Aria

MetaはARグラス「Project Aria」を開発している(下の写真右側)。これは、グラスにカメラとディスプレイを搭載した構造で、目の前の現実空間に仮想オブジェクトをインポーズする。ARグラスはDigital Assistantとなり、AIが周囲のオブジェクトの種別や意味を理解する(下の写真左側、ソファーやテーブルを認識する)。更に、AIは利用者の意図を把握して、次の行動をアシストする。利用者が電灯に視線を向けると、スイッチががオンになるなどの機能がある。

出典: Meta

ARグラスへの入力:Electromyography

ARグラスにデータを入力する方法が課題になるが、MetaはElectromyography(筋電図)という技法を開発している。これは筋肉で発生する微弱な電場をAIで解析することで、その意図を推定するもの。手首にデバイスを装着しElectromyographyを計測する。指でアルファベットを書くと、このデバイスがテキストに変換する(下の写真、テキストメッセージを入力している様子)。

出典: Meta

コンセプトの段階

Metaはメタバースの概要を始めて公開したが、これらはまだ製品ではなく、コンセプトの段階である。今回の発表はProof of Conceptを示し、メタバースが完成した時の製品イメージを提示することを目的とした。これによると、AR・VR・MR技術が大きく進化し、メタバースは現実空間と仮想空間が滑らかに融合した社会であることが分かった。一方、メタバースはより深い個人データを使うことも分かり、個人情報の保護がより厳しく求められる。