カテゴリー別アーカイブ: AR/VR/MR

MetaはMRヘッドセット「Quest Pro」を投入、メタバースの構想が製品として結実、企業向けメタバースに比重が移る

Metaは開発者会議「Connect 2022」でメタバース開発の最新状況を公開した。Metaは、昨年、このイベントでメタバースの構想を示し、数年先のビジョンを提示した。今年は、直近のメタバースに焦点を当て、その適用法やソリューションを示した。イベントのハイライトは、MRヘッドセット「Quest Pro」(下の写真)の発表で、メタバースにアクセスする技術が大きく進化した。更に、Microsoftとの提携を発表し、メタバースで3Dビデオ会議「Microsoft Teams」を利用できる。Metaは企業向けのメタバースに比重を移していることが明らかになった。

出典: Meta

MRヘッドセット「Quest Pro」

MRヘッドセット「Quest Pro」は、VR(仮想現実)とAR(拡張現実)を統合したMR(複合現実)機能を実装したウェアラブルとなる。Quest Proを着装すると、現実空間に仮想オブジェクトが組み込まれ、それを実際に手で触ることができる。例えば、オフィスで社員がQuest Proを着装すると、デスクの上に仮想のモニターが描写され、この画面で業務を遂行できる(下の写真)。価格は1,499.99ドルで、今月から出荷が始まる。

出典: Meta

仮想オフィス「Workrooms」

Metaは企業向けにメタバースを展開しており、コラボレーション・アプリ「Horizon Workrooms」を提供している。これはメタバースに構築された会議室で、社員はこの空間でコミュニケーションする。Metaは、これを大幅にアップグレードし、個人向けの仮想オフィス「Solo Workrooms」を開発している。仮想オフィスには三台の大型モニターがセットされ、ここが仕事空間となる(下の写真)。PCやMacBookを買う代わりに、Quest Proでタスクを実行する構想を描いている。

出典: Meta

3Dオブジェクト

3D仮想オフィスHorizon Workroomsの機能が強化される。これはデザイナーやエンジニア向けの機能で、会議室でオブジェクトを3Dで見ることができる。例えば、会議室において、開発中のヘッドセットを3Dで表示し、そのデザインを関係者で議論できる(下の写真)。

出典: Meta

MR会議室「Magic Room」

Metaは、現実社会と仮想社会の会議室をミックスしたMR会議室「Magic Room」を開発している(下の写真)。これは実社会の会議室に仮想の人物やオブジェクトを組み込んだ構成となる。Quest Proを着装して実社会の会議室に入ると、そこに遠隔地の社員がアバターとして参加する。また、この空間でホワイトボードに作図して会議を進めることもできる。

出典: Meta

Microsoftとの協業「Teams」

MicrosoftのCEOであるSatya NadellaはメタバースでMetaと協業することを明らかにした。その第一弾として、Microsoftのコラボレーションアプリ「Teams」をMeta向けに提供する。これによりQuest 2とQuest ProでTeamsを使うことができる(下の写真)。Microsoftもメタバース開発を進めており、Metaと競合する可能性があったが、この発表で両社は協調路線を歩むことが明らかになった。

出典: Meta

アバターに足を付加「Avatar Store」

Metaはアバターに足を付加し全身を描写できるようにした。現在のアバターは上半身だけで(上の写真)、足の部分は描かれていない。これに足の部分を付加し、完全な身体像を生成できるよう進化した(下のアバター)。手や腕の動きはヘッドセットのカメラで撮影し、それをアニメーションで表示するが、足の動きを捉えるのは難しい。足がテーブルや腕の陰になり、見えないケースが多く、そのイメージを捉えるのは難しい。このためMetaはAIを使い、アルゴリズムで足の状態を推定し、イメージを描写している。また、Metaは「Avatar Store」をオープンし、ここでアバター向けのファッション製品を販売している(下の写真)。

出典: Meta

入力モード「Electromyography(筋電図)」

Metaは研究開発中の技術についても、その概要を公表した。その一つがARグラスにデータを入力する方法で、Electromyography(筋電図)」という技法を開発している。これは筋肉で発生する微弱な電場をAIで解析し、動作の意図を推定するもの。手首にデバイスを装着し(下の写真右側)、指を動かして方向を指示すると、ゲームの中のキャラクターがその方向に動く(左側)。これはゲームのキャラクターを動かす事例であるが、その他に、ARグラスを着装して、指を動かして写真撮影をすることができる。

出典: Meta

Dイメージ生成技法「Neural Radiance Fields

MetaはAIを使って3Dモデルを簡単に生成する技法を発表した。これは「Neural Radiance Fields」と呼ばれ、カメラで撮影した複数の写真をAIで繋げ、3Dイメージを構築する技法となる。例えば、クマのぬいぐるみを、スマホで複数の方向から撮影し、これをAIで繋ぎ合わせると、3Dのモデルを生成できる(下の写真)。3Dモデルを簡単に生成できるため、メタバースを構築する基礎技術として期待されている。

出典: Meta

リアリスティックなアバター「Codec Avatars」

Metaは、リアリスティックなアバターを生成する技術を公開した。このアバターは「Codec Avatars」と呼ばれ、人間の顔の形状や表面の質感を忠実に再現し、ビデオ撮影したものと区別がつかない(下の写真、Mark ZuckerbergのCodec Avatar)。特殊カメラ170台を使い、被写体の顔を異なる方向から撮影し、これらを合成して3Dモデルを生成する。ハリウッドの映画の特撮などで使われている。

出典: Meta

手軽に生成できるアバター「Instant Avatars」

これに対し、Metaはスマホで簡単に3Dアバターを制作する技法を公開した。これは「Instant Avatars」と呼ばれ、スマホカメラで複数の方向から顔を撮影し、このデータを元にAIが、高精度な3Dモデルを生成する(下の写真)。Codec Avatarは特殊カメラを使ってアバターを制作するが、Instant Avatarsはスマホで手軽に高精度な3Dモデルを生成できる点に特徴がある。

出典: Meta

企業向けメタバースにシフト

昨年の開発者会議では、Mark Zuckerbergは消費者を対象としたメタバースのビジョンを示した。今年は一転して、企業向けに現実の問題を解決するためのメタバースを提示した。ハードウェアではMRヘッドセットQuest Proを投入し、メタバースは構想の段階から製品化に進んでいることを印象づけた。ソフトウェアの観点からは、コラボレーションツールWorkroomsなどを中心に、企業向けのソリューションが示された。メタバースは企業の生産性に寄与することをアピールしたイベントとなった。

ハイパーリアルなアバター、AIがセレブの完璧なデジタルツインを生成、DeepFakesがメタバースを支える

米国の人気テレビ番組でセレブ三人がオペラを歌唱するシーンが放送され社会が騒然とした(下の写真)。これは”フェイクビデオ”で、オペラ歌手三人が歌うシーンをテレビカメラで撮影し、顔の部分だけをリアルタイムでセレブのものに置き換えた。完璧な偽物で、究極のDeepFakesが生まれ、テレビで全米に放送された。実際にこの番組を見ていたが、完成度の高さに衝撃を受けた。

出典: America’s Got Talent

リアリティ番組

これは「アメリカズ・ゴット・タレント(America’s Got Talent)」と呼ばれる番組で、様々なジャンルのパフォーマーの公開オーディションを放送するもので、アメリカ版「スター誕生」という位置づけになる。今週、三人のオペラ歌手がステージでアリア「誰も寝てはならぬ(Nessun dorma)」を歌い(上の写真下段)、それを三台のカメラで撮影し、合成した映像を大型モニターに映し出す(上の写真上段)構成となっていた。

顔をスワップ

映し出される映像は三人のオペラ歌手の顔をセレブの顔にスワップしたもので、審査員のサイモン・コーウェル(Simon Cowell、下の写真右端)、ホーウィー・マンデル(Howie Mandel、左端)、及び、司会者のテリー・クルーズ(Terry Crews、中央)がオペラを熱唱するシーンが生成された。DeepFakesの出来栄えは完璧で、本人が歌っているように映し出されたが、審査員たちは席に座っており、フェイクであることが分かる仕組みになっていた。

出典: America’s Got Talent

DeepFakes技術

この技術を開発したのはロンドンに拠点を置く新興企業Metaphysicで、高品質なコンテンツを生成するAIを開発している。特に、AIでアバターを生成する技術に着目しており、超リアルなデジタルツインを生成する。生成されるハイパーリアルなアバターは、3D仮想社会で使われ、メタバースを支える基礎技術を担っている。

偽のトム・クルーズ

Metaphysicは、これに先立ち、映画俳優トム・クルーズ(Tom Cruise)のハイパーリアルなDeepFakesを生成し、全米を驚かせた。ショートビデオとしてTikTokなどに掲載され、完璧な偽物のトム・クルーズを生み出した(下の写真)。実際に、ショートビデオを観ると、完璧なフェイクで、偽物であると聞かされて驚いた。これらのビデオはTikTokの「deeptomcruise」のサイトに掲載されている(リンク)。

出典: TikTok

シンセティック・メディア

AIが生成するアバターは「Synthetic Media」と呼ばれ、誰でも簡単に動画や音声を生成でき、プロ並みのコンテンツを生成できる。人間と見分けのつかないデジタル・ヒューマンが生まれており、エンターテイメントやプロモショーンで使われている。ニューヨークに拠点を置く新興企業SynthesiaはAIアバターを開発し、人間に代わりアバターがプレゼンテータとなり、商品を説明する。異なる種類のアバターが揃っており、企業はブランドイメージに沿ったアバターと言葉のアクセントを選ぶことができる(下の写真)。

出典: Synthesia

シンセティック・ボイス

また、AIでボイスを生成する技術「Synthetic Voice」の開発が進み、品質が人間レベルに到達した。合成音声は自然で感情豊かなボイスとなり、人間の喋りと区別がつかなくなった。シアトルに拠点を置くAI新興企業WellSaid Labsは、AIによる音声合成技術を開発している(下の写真)。WellSaid Labsが開発する音声合成技術は「Voice Avatars」と呼ばれ、テキストを入力すると、それを人間のように滑らかなボイスに変換する。

出典: WellSaid

人間の3Dフィギュア

ハイパーリアルなアバターと音声が生成されているが、次のゴールはAIで人間の3Dフィギュア全体を生成することにある。例えば、トム・クルーズのフェイクビデオをすべてAIで生成する技術がAI研究開発の一番ホットなテーマとなっている。上述のDeepTomCruiseが完璧なのは訳があり、トム・クルーズのそっくり俳優が演じたビデオを使っているからである。そっくりさんの顔の部分だけを本物の顔にスワップしている。そっくり俳優がトム・クルーズのように振る舞い、声も本人と見分けがつかない。そっくり俳優が演じる部分をAIで生成することが次の目標で、大学や企業で研究開発が進んでいる。

Nvidiaはリアルなデジタルヒューマンを生成するクラウドを公開、メタバースでアバターが人間に代わりアシスタントとして活躍する

Nvidiaは、今週、コンピュータグラフィックス学会「SIGGRAPH 2022」で、メタバースに関連する技術を発表した。公開された技術は、アバター技術、メタバース開発技術、AIグラフィック技術で、これらが3D仮想社会を生み出すプラットフォームとなる。SIGGRAPHはメタバースとの関連が深く、ここで3DグラフィックスやAIグラフィックスの最新技術が発表された。

出典: Nvidia

アバターを開発するクラウド

Nvidiaはメタバース関連技術の中で、アバターの開発を重点的に進め、最新モデル「Avatar Cloud Engine (ACE)」を発表した。ACEとはクラウドベースのAIモデルで、実物と見分けのつかない高精度なアバターやデジタルヒューマンを開発するための基盤となる。企業はACEを使い、リアルなアバターを生成し、メタバースにおいて人間に代わるアシスタントとして利用する。アバターはゲームや映画の中のキャラクターとして使われるだけでなく、銀行のテラーやホテルのレセプショニストとして活躍する。

アバターの機能

アバターは外観が人間そっくりであることに加え、高度な言語能力を備え、言葉でインタラクティブに応対する(上の写真)。人間が話しかけると、アバターはそれに返答し、両者間で会話が進む。アバターが話すときは、口がそれに同期して動き、顔の表情が変わる。また、英語だけでなく、日本語やフランス語(下の写真)など、多言語で会話できる。更に、アバターは会話のシチュエーションを理解し、それに応じた受け答えをする。

出典: Nvidia

アバターを生成する仕組み

Nvidiaはアバター生成の基礎技術として「Audio2Face」を開発した。これはオーディオを入力すると、ニューラルネットワークが3Dのアニメーションを生成する仕組みとなる(下のグラフィックス)。入力された言葉に従って、それを喋る3Dアバターが生成される。アバターはリアルタイムで生成されるため、人間と対話するモデルで使うことができる。

出典: Nvidia

感情の表現

SIGGRAPHではその最新モデルとして、感情を表現できるアバターが公開された。これは「Audio2Emotion」と呼ばれ、入力されるオーディオの感情を読み取り、ニューラルネットワークはそれに合わせたアバターを生成する。例えば、入力オーディオが「自分がどこにいるのか分からない!」という怒りを込めた言葉であると、AIは怒っている表情のアバターを生成する(下の写真、ビデオへのリンク)。

出典: Nvidia

アバターの利用方法

生成されるアバターは3D仮想社会で人間に代わり様々なタスクをこなす。Nvidiaはそのリファレンスモデルとして「Toy Jensen」を公開した。これはCEOであるJensen Huangをモデルにしたフィギュアで、難しい質問に回答する大学の先生として機能する(下の写真)。また、アバターはレストランのモニターで、顧客と対話しながらメニューを紹介する。更に、アバターは自動運転車に搭載され、コンシェルジュとして、ドライバーと対話しながら道案内をする。

出典: Nvidia

AIで構成されるアバター

ACEで生成されるアバターは、高精度な3Dレンダリングに加え、人間と自然な会話ができるよう、多彩なAIが組み込まれている。人間が話す言葉を理解し、アバターはそれに対する返答をリアルタイムで生成し、会話を続ける。また、AIはアバターの顔の表情や手の動きなど、アニメーションを生成する。具体的には、ACEが提供するAI機能は次の通り:

  • Riva:会話のためのAI
  • Metropolis:ビデオ解析のAI
  • Merlin:推奨エンジン
  • NeMo Megatron:大規模言語モデル
  • Omniverse:メタバースの開発環境

メタバース開発でリード

多くの企業がメタバースを開発しているが、高精度な3D仮想社会を生成する技法が、ビジネス成功のカギとなる。Nvidiaはこの開発環境を「Omniverse」として提供しており、メタバース開発で業界標準のツールとして認識されている。メタバースでは、利用者のデジタルツインであるアバターを介して交流が進み、如何に精巧なモデルを生成できるか、各社が競い合って技術開発を進めている。Nvidiaはアバター開発でも業界をリードしており、人間と見分けのつかない、精巧で知的なデジタルツインを生み出している。

メタバースでデートする、仮想空間で恋人を探し現実社会で交際を始める

メタバースでデートして交際相手を探すライフスタイルが始まろうとしている。メタバースはネット上に構築された3D仮想空間で、次世代のインターネットとして開発が進んでいる。メタバースで様々なモデルが試されているが、仮想空間でデートするプラットフォームとして注目されている。アバターを介してデートして(下の写真)、お互いに気に入れば、現実社会で交際を始める。メタバースが、男女間や同性間の仲立ちになるのか、トライアルが始まった。

出典: Flirtual

Flirtualという企業

この技術を開発しているのはカナダ・トロント郊外に拠点を置くFlirtualという新興企業で、メタバースでデートするアプリを提供している。Flirtualはメタバース向けの“デートアプリ”で、相性の良い相手を探し、その人とVR空間でデートする場を提供する。VRヘッドセットを着装し、3D仮想空間で自分のアバターを介し、相手のアバターと交流する。

アプリの機能

まず、アプリにアバターとプロフィールを登録し、自分と相性の良い相手を検索する。アバターはアニメのキャラクターから選び、プロフィールには、名前や年齢や性別を登録し、自己紹介などを書き込む。また、趣味やパーソナリティを記入し、これらがマッチングする相手を探すキーワードとなる。相手が見つかると、その人とテキストメッセージで会話して、デートする場所や時間などを決める。(下の写真、Flirtualのインターフェイス)

出典: Flirtual

VR仮想空間でのデート

デートはVR仮想空間で行われ、VRヘッドセットを着装し、相手のアバターと会話しながら交流を進める。デートする場所が用意されており、シチュエーションに合わせて最適な場所を選ぶ。安心してデートできるよう、公園や水族館やカフェなどを選択できる。また二人で楽しめるように、ビリヤードやミニゴルフなどでプレーできる。また、二人で仮想の草に触ることもできる(下の写真)。

出典: OpenAI

アバター

二人はアバターを介してデートするため、相手の容姿を見ることができない。デジタルツイン同士で交流することになり、自分の素顔を見られず、安心してデートできる(下の写真)。交際が進むと、相手にタッチすることもできる。これは「Phantom Touch」と呼ばれ、相手のアバターにタッチすることで、触覚のフィードバックは無いが、親愛の情を表現できる。VR空間で気が合えば、お互いの素性を明らかにし、現実社会での交際に進むことになる。

出典: Flirtual

VR空間での交流アプリ

VR空間における人の交流はメタバースの中心機能で、多くのアプリが開発されている。ビジネス向けにはMicrosoftが3Dアバターによるビデオ会議「Mesh」を運用している。また、Metaはメタバース会議環境「Horizon Workrooms」を開発している。プライベートな交流では「VRChat」が事実上の標準ツールとなっている。VRChatはサンフランシスコに拠点を置く新興企業で、VR空間で交流するための環境を提供している。ここでイベントなどが開催され、アバターを介して多くの知人と交流する(下の写真)。

出典: VRChatChat

新しいライフスタイル

これらVR交流アプリに対し、Flirtualはデート専用のプラットフォームで、交際するための機能が充実している。ポストコロナのワークスタイルが遠隔勤務に向かっているように、人の交流もオンラインになり、VR空間で交際するライフスタイルが広がろうとしている。メタバースの技術開発が進むにつれ、デートアプリの重要性に注目が集まり、多くの企業が製品開発を進めている。

MetaはAIで本人そっくりのアバターを生成する技法を開発、また「アバター・ストアー」を開設しアバター向けに高級ブランド品を販売

MetaはリアリスティックなアバターをAIで生成する技法を公開した。スマホカメラで撮影した画像をもとに、AIが写真のようにリアルな3Dモデルを生成する。また、Metaは「アバター・ストアー」を開設することを発表し、アバター向けのファッションアイテムを販売する(下の写真)。ここには有名ブランドの衣料品が揃っており、メタバースでお洒落を楽しむことができる。

出典: Eva Chen

Metaのアバター開発の歴史

Metaは、早くから、VR向けに3Dアバターの開発を進めてきた。このアバターは「Codec Avatars」と呼ばれる種類で、人間の顔の形状や表面の質感を忠実に再現し、リアリスティックな3Dモデルとなる。特殊なカメラ「MUGSY」を使い(下の写真左側)、被写体の顔を異なる方向から撮影し(右側)、これらを合成して3Dモデルを生成する。MUGSYは171台のカメラから構成され、被写体を異なる方向から撮影する。

出典: Chen Cao et al.

スマホでアバターを制作

先月、MetaのAI研究所である「Reality Labs」は、スマホでリアリスティックな3Dアバターを制作する技法を公開した。特殊カメラを使う必要はなく、iPhoneで顔を撮影し(下の写真左側)、このデータを元にAIが、高精度な3Dモデルを生成する(右端)。今まではスタジオで特殊カメラを使ってアバターを制作していたが、スマホで手軽に高精度な3Dモデルを生成できるようになった。

出典: Chen Cao et al. 

AIモデルの概要

AIでアバターを生成するが、その手順は次のようになる。最初に、ベースモデル「Universal Prior Model」を生成する(下のグラフィックス、左側)。ベースモデルの生成では、多数の顔写真を教育データとし、アルゴリズムは顔の構造とその表情を学習する。具体的には、上述の専用カメラMUGSYを使い、255人の顔を25方向から撮影し、その際に、被写体は65の表情を造る。これらの顔写真から、アルゴリズムは人間の顔の構造とその表情を学習する。

出典: Chen Cao et al. 

AIモデルでアバターを生成

次に、このベースモデルを使って、利用者のアバターを生成する。スマホカメラを使い、顔を異なる方向から撮影し、これをベースモデルに入力する(上のグラフィックス、中央)。アルゴリズムは顔の構造とその表情を学習しており、数枚の顔写真から高精度な3Dアバターを生成する。更に、スマホカメラで異なる表情の顔写真を撮影すると、アバターの品質を大きく向上させることができる(上のグラフィックス、右側)。

印象型アバター

Zuckerbergは、これに先立ち、二種類のアバターを開発していることを明らかにした。これらは、「印象型アバター(Expressionist Avatar)」と「現実型アバター(Realistic Avatar)」と呼ばれる。前者はアバターをアニメのキャラクターとして生成する方式で、利用者の顔の表情をグラフィカルに再現する。既に、VRゲームやオンライン会議(下の写真)などで使われている。

出典: Meta

現実型アバター

現実型アバターは、利用者の顔をビデオ撮影したように、リアリスティックに生成する。これは特殊カメラを使って生成されてきたが、上述の手法を使うと、iPhoneカメラで誰でも手軽に作れるようになった。(下の写真、左端は入力した写真で、その他は生成されたアバター。中央はアバターの深度を表示)。但し、メガネをかけたアバターを高精度で生成できないなど、制限事項があり、完成までにはもう少し時間を要す。

出典: Meta

アバター・ストアーを開設

今週、MetaのCEOであるMark Zuckerbergは、「アバター・ストアー(Avatars Store)」を開設することを発表した。アバター・ストアーとはアバター向けのファッションハウスで、ここで洋服を買って、自分のアバターに着せる(下の写真)。FacebookとInstagramとMessengerで、プロフィール写真の代わりに、3Dアバターを使うことができ、ストアーで洋服を買って華やかなアバターを生成する。また、メタバースでは、本人に代わりアバターでお洒落を楽しむことができる。アバター・ストアーのモデルはMark Zuckerbergとファッション担当のEva Chenが務めている。

出典: Meta

三つの高級ブランド

アバター・ストアーは有名ブランドのファッションアイテムを販売する。これを買って自分のアバターに着せ、メタバースでお洒落な生活を楽しむ。三つの高級ブランド、「バレンシアガ(Balenciaga)」、「プラダ(Prada)」、「トムブラウン(Thom Browne)」が公開された。

  • バレンシアガはフランス・パリに拠点を置くファッションハウスで、規格にとらわれず、常に先進的なファッションを生みだしてきた。個人にフィットしたファッションデザインである、オートクチュール(haute couture)というコンセプトを生み出したことで有名。アバター・ストアーでは、モトクロス・レザー(motocross leather)スタイルを公開した(上の写真左端)。
  • プラダはイタリア・ミラノに拠点を置く高級ファッションブランドで、ハンドバッグやシューズを販売する。ファッションでは既製品であるプレタポルテ(prêt-à-porter)を専門とする。アバター・ストアーでは、スポーツ・ファッションブランド「Linea Rossa」を公開(上の写真左から三番目)。Zuckerbergは「上から下までプラダを着るのは勇気がいるが、メタバースならこれができそう」と述べている。
  • トムブラウンはアメリカ・ニューヨークに拠点を置くファッションブランドで、スポーティなブレザーなどを販売する。アバター・ストアーでは、四本のストライプが入ったジャケットを公開(上の写真右から二番目)。Zuckerbergは、「実社会でジャケットを着ることはないが、メタバースではトムブランを選ぶ」としている。