作成者別アーカイブ: nad00251

自動運転ロボット「Nuro」がシリコンバレーで営業運転を開始、実際に使ってみたが自動運転車が注文した商品を玄関先まで配送

自動運転ロボット「Nuro」がシリコンバレーで営業運転を開始した。Nuroはトヨタ・プリウスをベースとした自動運転車で、注文した商品を玄関先まで配送する。今はセーフティドライバーが搭乗しているが、将来は、無人車両が商品を配送する。コロナの感染拡大で、Eコマースによる宅配事業が急拡大しており、自動運転ロボットへの期待が高まっている。

出典: Nuro

セブンイレブンと提携

Nuroはコンビニ「セブンイレブン」と提携し、カリフォルニア州マウンテンビュー市で宅配サービスを開始した。オンラインで購入した商品を、トヨタ・プリウスをベースとした自動運転ロボットが、消費者宅まで配送する(上の写真)。Nuroはドライバーの介在なく自動で走行する。Nuroは、専用車両「R2」を開発しており(上の写真左端の車両)、次のステップは、ロボットが無人で商品を宅配する。

実際に使ってみると

早速、Nuroによる配送を試してみたが、全てのプロセスがスムーズに動いた。セブンイレブンで商品を購入するために、専用アプリ「７NOW」を使った(下の写真)。ショッピング画面(左側)で宅配を選択し、希望する商品を購入した(中央)。支払い処理が終わると、店舗側で商品をNuroに積み込む作業が始まる。その後、Nuroがセブンイレブンを出発し、目的地に向かった。Nuroの位置はマップに表示され、運行状態を確認できた(右側)。

出典: VentureClef

Nuroが無事に到着

Nuroは、自宅前に停止し(下の写真)、配送スタッフが購入した商品を玄関先まで届けてくれた。Nuroには、セーフティドライバーが搭乗しており、クルマを安全に運行する。スタッフに話を聞いてみると、Nuroは殆どの区間を自動で走行するが、時々、セーフティドライバーがステアリングを操作するとのこと。(実際、Nuroは玄関前を通り越し、隣の家で停車したため、セーフティドライバーがマニュアル操作で、Uターンして自宅前にクルマを移動した。)

出典: VentureClef

カリフォルニア州の認可

Nuroは、営業運転を開始するにあたり、カリフォルニア州の陸運局 (Department of Motor Vehicles)から、公道を無人走行するための認可を受けた。走行できる地域が指定されており、Nuroはサンタクララ群とサンマテオ群で営業運転を展開できる。また、走行できる道路も規定され、定められたルートを安全に走行する。事実、営業運転は、サンタクララ群のマウンテンビュー市で開始された。(下の写真、試験走行中のNuro)

出典: VentureClef

次のステップ

Nuroは自動運転ロボット「R2」を開発している(下の写真)。R2はレベル５の自動運転車で、ロボットが無人で、商品を消費者宅に配送する。消費者は、ウェブサイトで商品を購入すると、R2がこれを配送する。R2は玄関先に停車し、消費者は貨物ベイのハッチを開けて商品を取り出す仕組みとなる。現在は、食料品の配送が中心であるが、将来は、医薬品の配送も計画されている。

出典: Nuro

ロボット宅配需要が高騰

新型コロナの変異株「Omicron」の感染が広がり、パンデミックの終息が見通せなくなり、宅配サービスの需要が急騰している。レストランの出前サービスの他に、食料品の配送ビジネスが拡大している。小売店舗側はNuroと提携し、ロボットによる宅配サービスを進めている。セブンイレブンの他に、スーパーマーケット「Kroger」やドラッグストア「CVS」がNuroによる宅配サービスを展開している。これらの需要に応えるため、Nuroは技術開発を加速している。

Microsoftはメタバース市場に参入、仮想空間でのビデオ会議システムを発表、MR技術をコラボレーションに展開

Microsoftはメタバースの技術開発を進め、３D仮想空間におけるビデオ会議システム「Mesh for Teams」を発表した。このシステムはメタバースに構築されるコラボレーション基盤で、アバターを介してコミュニケーションする(下の写真)。Microsoftは「Mesh」という名称でメタバース技術を開発しており、これをビデオ会議「Teams」に適用した。

出典: Microsoft

Microsoftが考えるメタバース

Microsoftは2021年3月、メタバースを構成する技術として「Mesh」を発表した。Microsoftは、メタバースをインターネットの新しいモデルと捉えている。メタバースは仮想空間で、ここに人々が集い、交流する場となる。また、メタバースに、人や物のデジタルツインが生成され、これらを介して、現実空間と仮想空間が連結される。Microsoftは現実空間と仮想空間の融合をMR(Mixed Reality)と呼び、Meshがこの技術を支えている。更に、MicrosoftはMRヘッドセットとして「HoloLens」を開発し、企業向けに提供している。

Mesh for Teamsとは

メタバース上に展開するビデオ会議システムは「Mesh for Teams」と呼ばれ、コラボレーションツール「Teams」をMR空間「Mesh」で運用する構成となる。Teamsは在宅勤務におけるコラボレーションツールとして、幅広く利用されている。Mesh for Teamsは、その新機能で、自分のアバターを介してテレビ会議に参加する(下の写真、右側)。また、企業はMesh for Teamsを使って、会議室やロビーなど、仮想空間を生成することができる。ここに３D仮想オフィスが生成され、社員はアバターを介してここでデジタルに勤務する。

出典: Microsoft

Accentureの仮想オフィス

Accentureは既に、メタバース上にオフィス空間を生成し、社員のコラボレーションの場として活用している。仮想のキャンパスは「Accenture Nth Floor」と呼ばれ、ここに社員が集い、オフィス勤務をする(下の写真、イメージ)。社員は、オフィスでコーヒーを飲みながら会話を交わすこともできる。会議室ではプレゼンテーションを行い、また、パーティーを開催することもできる。仮想キャンパスは、テレビ会議とは異なり、社員同士が出会い交流する場となる。物理オフィスで雑談するなかで、アイディアが生まれるように、メタバースは社員が出合い言葉を交わす場となる。

出典: Microsoft

メタバース・アプリケーション

Microsoft はMeshとHoloLens を使ったメタバース・アプリケーションの開発を進めている。メタバース・アプリケーションは、場所を超えて共同作業をする空間を構築する。例えば、オフィス内に３D 仮想スペースを構築し、共同作業を進めることができる(下の写真)。複数の社員がHoloLens 2を着装し、会議室やオフィスに集合し、そこで実物を見ながら製品開発を進めることが可能となる。このアプリケーションはMeshで生成され、HoloLens 2からアクセスする。

出典: Microsoft

メタバースへのアクセス技術

Microsoft は、メタバースへのアクセス技術としてMR グラス「HoloLens」を開発した。現在は、第二世代の製品「HoloLens 2」を出荷しており、これを着装し、現実空間に構築された仮想オブジェクトを操作する(下の写真)。企業向けのデバイスで、メタバース・アプリケーションと組み合わせて利用する。Microsoft はVR(仮想現実) とAR(拡張現実) を統合した技術をMR(複合現実)と呼び、メタバースにアクセスする基礎技術と位置付けている。

出典: Microsoft

Mesh for Teamsを開発した理由

Microsoftは、ポストコロナのワークスタイルはハイブリッドとなり、遠隔勤務が重要な役割を担うと分析している。遠隔勤務では、管理職が考えるより、仕事を効率的に進めることができるとしている。一方、社員は、遠隔勤務では、会社の同僚と会えないことが最大の課題だと指摘する。オフィス勤務では、同僚と立ち話ができ、人間関係が深まる。また、会議では、同僚の素振りから、その場の空気を読むことができた。遠隔勤務では、これら人間関係のウェットな部分が欠落し、社員同士が疎遠になる。Mesh for Teamsはこれらの問題点を補完するために開発された。社員はデジタルツインであるアバターを生成し、これらを介して、表情や感情を表し、他の社員と交流する(下の写真)。

出典: Microsoft

メタバースのロードマップ

Meta(Facebook)はメタバースにソーシャルネットを構築する構想を描いているが、Microsoftはメタバースで企業向けのソリューションを提供する戦略を取る。その最初のステップがコラボレーションで、社員は３D仮想空間で共同作業を実行する。航空機のエンジンの設計を遠隔地と社員と共同で進めるソリューションを提供している(下の写真)。Microsoftの強みはAIやクラウドで、Mesh for Teamsでメタバース開発レースに参戦した。

出典: Microsoft

Nvidiaはメタバースで地球のデジタルツインを生成、スパコンとAIで気候モデルをシミュレーション、数十年先の豪雨や干ばつを予測

先週、Nvidiaは開発者会議「Nvidia GTC 2021」で、地球温暖化対策に寄与する新技術を発表した。これは、地球をメタバースで構築し、ここで気候モデルをシミュレーションし、温暖化対策に役立てるという構想である。気候モデルは巨大で、新たにスパコンを開発して、これを実行する。しかし、高精度なモデルを実行するにはスパコンでも性能が十分でなく、AIで物理法則を解く技法を導入した。スパコンとAIを組み合わせ、数十年先の地球の気候を正確に予想する。

出典: Nvidia

地球温暖化問題

イギリス・グラスゴーで開催されたCOP26は、世界の平均気温の上昇を、産業革命前に比べ、1.5度に抑える努力をすることを再確認した。同時に、世界の平均気温は1.1度上昇しており、その影響が各地で広がっていることに警鐘を鳴らした。今年は、記録的な熱波や豪雨など、気象災害が世界各地で発生している。カリフォルニア州は記録的な干ばつで、大規模な森林火災が続き、気候変動がこれらの災害を加速している(下の写真)。

出典: Nvidia    

メタバースでシミュレーション

GTC 2021で、CEOであるJensen Huangが、NvidiaのプロセッサとAIを気候モデルに適用し、地球温暖化対策に寄与する手法を発表した。これはOmniverseで地球のデジタルツインを生成し、このモデルで地球の気候変動を解析する手法となる。具体的には、地球の気候モデル(Climate Model)を生成し、これをスパコンとAIでシミュレーションするアプローチを取る(下の写真、イメージ)。Nvidiaはメタバースの開発環境をOmniverseとして提供している。

出典: Nvidia    

気候モデルを生成

地球規模の気候モデルを生成することで、世界各地の気候を数十年先のレンジで予測する。将来の気候を正確に予想することで、危険性を正確に可視化でき、温暖化対策やインフラ整備のための基礎データとなる。天気予報は短期間の大気の物理現象を予測するが、気候モデルは数十年単位の気候シミュレーションで、物理学、化学、生物学などが関与し、巨大なモデルとなる。

豪雨や干ばつを予測

気候モデルを高精度で解析するには、地球規模の水の循環をシミュレーションする必要がある。これは「Stratocumulus Resolving」と呼ばれ、海水や地表面の水が、大気や雲を通して移動するモデルとなる(下の写真)。この循環が変わると、豪雨や干ばつによる被害が甚大となり、社会生活に大きな影響を及ぼす。

出典: NASA Goddard Space Flight Center

専用スパコンと最新のAI技法

しかし、このモデルをシミュレーションするためには、地表面をメートル単位の精度で計算する必要がある。現行の気候モデルのメッシュはキロメートルで、これをメートルにすると、演算量は1000億倍となり、世界最速のスパコンを使っても処理できない。このため、Nvidiaは気候モデル専用のスパコン「Earth-2」を開発するとともに、物理モデルをAIで解く技術の研究を始めた。下の写真は気候モデルの計算量の増加を示している。水循環モデル(Stratocumulus Resolving)をスパコンだけで計算するには、2060年まで待つ必要がある。

出典: Nvidia  

物理法則をAIで解く

このため、AIで物理法則を解く技法の研究が進んでいる。気候モデルのシミュレーションとは、物理法則に沿った挙動を可視化することを意味する。自然界の動きは物理法則に従い、古典力学、流体力学、電磁気学、量子力学などがその代表となる。気候モデルでは流体力学が重要な役割を果たし、流体の動きはナビエ–ストークス方程式(Navier-Stokes Equations)などで記述される。ニューラルネットワークでこの方程式を解く技法の開発が進んでいる。(下の写真、AIでハリケーンなどの異常気象を予想したケース。)

出典: Nvidia  

物理法則をAIで解くフレームワーク

Nvidiaは物理法則をニューラルネットワークで解くためのフレームワーク「Modulus」を提供している(下の写真)。Modulusを気候モデルに適用することで、AIでナビエ–ストークス方程式の解法を求めることができる。従来方式に比べ処理時間が大幅に短縮され、AIの新しい技法として注目されている。このプロセスを専用のスパコン「Earth-2」で実行することで、高精度な気候モデルのシミュレーションが実現する。

出典: Nvidia

気候変動に備える

気候モデルのシミュレーションで、数十年先の気候を正確に予測する。世界の主要都市は、数十年先に起こる気候条件に応じて、インフラ整備を進める。また、温暖化防止対策を策定する際に、どの方式が一番有効であるかを検証できる。地球のデジタルツインは、計測されるデータでアップデートされ、異常気象を高精度で予測し、地球温暖化対策の重要なツールとなる。

Nvidiaは企業向けメタバースを開発、リアルなAIアバターが人間に代わり顧客に応対する

今週、Nvidiaは開発者会議「Nvidia GTC 2021」で、メタバースの最新技術を公表した。Nvidiaはメタバースの開発環境を「Omniverse」という名称で製品化しており、企業はこのプラットフォームで３D仮想空間を生成し、ソリューションを構築する。基調講演で、人間のデジタルツインであるアバターの新技術が公開された。高度な言語モデルを組み込んだAIアバターが人間と会話するデモが実演された。(下の写真、CEOであるJensen Huangのフィギュア「Toy Jensen」が身振りを交えて人間と対話する。)

出典: Nvidia

Omniverseとは

Nvidiaは、３D仮想空間を開発するプラットフォームを「Omniverse」として提供している。企業は、Omniverseで３D仮想空間を生成し、ここで様々なシミュレーションを実行し、製造プロセスを最適化する。Omniverseは、既に多くの企業で導入されている。自動車メーカーBMWは、Omniverseで製造工場のデジタルツインを生成し、生産工程を最適化している。(下の写真、BMWは製造施設の高精度なコピーを３D仮想空間に生成し、ここで生産工程をシミュレーションし、効率などを検証した。)

出典: BMW  

人間のデジタルツイン

開発者会議では、Omniverseで人間のデジタルツインを生成する技法と応用事例が紹介された。この技法は「Omniverse Avatar」と呼ばれ、高度なAIを統合したデジタルヒューマンとなる。AIアバターは視覚を備えており、相手を見ながら人間と会話する。また、相手の話し言葉を理解し、AIアシスタントとして人間に助言する。AIアバターは３Dフィギュアとして生成され、レイトレーシング(Ray Tracing)を使って作画され、本物の人形が動いているように見える。

顧客サービスアバター：Project Tokkio

AIアバターが人間に代わり顧客に応対する。このプロジェクトは「Project Tokkio」と呼ばれ、AIアバターは顧客をビジュアルに認識し、対話を通して顧客をサポートする。その一つが上述の「Toy Jensen」で、３Dフィギュア形状のAIアバターが、身振りや手ぶりを交えて、顧客と対話する。

また、AIアバターが、レストランのキオスクで店員に代わり、顧客の注文を取る。AIアバターが顧客と会話しながら、料理の内容を説明し、好みを聞き、最適なメニューを推奨する(下の写真)。AIアバターは高度な会話能力を備えているが、この背後では世界最大規模の言語モデル「Megatron 530B」が稼働している。

出典: Nvidia  

自動運転車のアシスタント：Drive Concierge

クルマが自動運転車となると、AIアバター「Drive Concierge」が運転のアシスタントとなる。AIアバターは、クルマのディスプレイに表示され、ドライバーとのインターフェイスとなる(下の写真)。AIアバターがドライバーとの対話を通して、目的地と到着時間を理解し、時間通りに到着するために、最適な運転モードを選択する。

出典: Nvidia

ビデオ会議のアシスタント：Project Maxine

Nvidiaは、コラボレーション空間を生成するための開発環境「Project Maxine」を提供している。企業はこのプラットフォームを使って、遠隔勤務のためのビデオ会議空間(仮想オフィスなど)を構築する。開発者会議では、これを拡張した機能が紹介された。AIアバターをビデオ会議に組み込むもので、発言者の言葉をリアルタイムに翻訳する。(下の写真、英語で発言した内容がフランス語に翻訳される。フランス語で発声するだけでなく、口の動きもフランス語となる。) また、発言内容はテキストに変換して表示される。

出典: Nvidia

AIアバターを支える技術

AIアバターであるOmniverse Avatarは、多種類のAI技法を組み合わせて生成される。主なAI技法は次の通り：

  • Riva：対話型の言語モデル。音声認識機能で発言者の言葉を理解する。また、テキストを音声に変換する機能で、自然なボイスを生成する。
  • Megatron 530B：大規模な自然言語モデル。人間のように、言葉を理解し、また、言葉を生成する機能を持つ。文章を完結する機能や、質問に答える機能がある。更に、文章を要約したり、他の言語に翻訳する機能がある。
  • Merlin：深層学習に基づく推奨エンジン。
  • Metropolis：コンピュータビジョンでビデオの解析など利用する。

メタバースの標準プラットフォーム

Nvidiaはメタバース開発のためのプラットフォーム「Omniverse」を提供しており、企業はこの環境で３D仮想空間を生成する。メタバース開発のために、多くのエンジニアやクリエーターが異なるツールを使ってアプリケーションを開発する。Omniverseは異なるツールを連携し、共同開発のプラットフォームとなる(下のグラフィックス)。いま、世界各国でメタバースの開発が進んでいるが、これらは独自手法で構築され、固有のメタバースが数多く生成されている。Nvidiaは、Omniverseをオープンなメタバース開発環境と位置付け、業界標準となるプラットフォームを目指している。

出典: Nvidia

Meta(Facebook)はメタバースを構成する基礎技術の開発を加速、AR・VR技術を飛躍的に進化させリアルとバーチャル空間を融合する

Facebookは開発者会議Connect 2021で、メタバース(Metaverse)構想を明らかにした。メタバースとはインターネットに構築される３D空間で、次世代ソーシャルネットワークはここに構築される。メタバースは現実空間と仮想空間が融合したもので、ここで人々が交流しビジネスが営まれる。(下の写真、メタバースに構築されたオフィス)

出典: Meta

メタバースを構成する技術

メタバースを構築する基礎技術はAR(拡張現実)とVR(仮想現実)で、これらを融合しMR(複合現実)を生成する。これらがメタバース研究所「Facebook Reality Labs」で開発されている。現在のAR・VRを飛躍的に進化させ、リアルとバーチャルを融合したMR空間を生成する。Metaはメタバースをモバイルの次のプラットフォームと位置付け、AppleやGoogleに依存しないインターネットを生成する。(下の写真、現実空間に仮想オブジェクトを融合したMR空間。)

出典: Meta

メタバースを生み出す技術：Presence Platform

Metaが開発しているメタバースは、リアル社会とバーチャル社会を滑らかに融合するもので、これを生み出す技術は「Presence Platform」と呼ばれる。このプラットフォームは、コンピュータビジョンとAIが核となり、仮想オブジェクトを現実空間に組み込むためのモジュールから構成される。具体的には、MR(Mixed Reality)、オブジェクトのインタラクション、ボイスのインタラクションを生成する機能を提供する。MRとは、上述の通り、複合現実で、現実空間と仮想空間を融合し、メタバースの中心機能となる。

Presence Platformは三つのSDK(Software Development Kit)から構成される：

  • Insight SDK：現実空間に仮想オブジェクトを組み込みMRを生成する技術
  • Interaction SDK：手で仮想オブジェクトを操作する技術
  • Voice SDK：会話を理解する機能で言葉で仮想オブジェクトを操作する技術

SDKとはソフトウェア開発キットでエンジニアはこれらの機能を使ってメタバースを開発する。

MR空間を生成する技術：Insight SDK

Insight SDKはメタバースの中心技術で、高品質なMR空間を生成する。Insight SDKは「Passthrough」と「Spatial Anchors」の二つの機能から成る。

Passthrough機能

PassthroughはVRヘッドセットを介してMR空間を生成する技術で、現実空間に仮想オブジェクトを描写する。下の写真はOculus Quest 2を介してピアノのレッスンを受けている様子。ピアノの鍵盤に円形の仮想オブジェクトを表示し、これを指で叩くと音楽を演奏できる。Oculus Quest 2はカメラを搭載しており、前方のイメージを白黒で見ることができる。Oculus Quest 2はVRだけでなく、MRグラスとしての機能がある。

出典: Meta

Spatial Anchors機能

Spatial Anchorsはハンドセットで現実空間をマッピングする機能。下の写真はOculusのハンドセットを置かれた家具に沿って動かし、部屋の中をマッピングしている様子。システムは現実空間の構造を理解して、それに応じて仮想オブジェクトを表示するために使われる。

出典: Meta

Scene Understanding機能

Scene Understandingはユーザ空間を理解する機能で、空間の位置関係やその意味などを理解する。この中のScene Modelを使って部屋の中にMR空間を生成する。下の写真は部屋の空間に仮想オブジェクト(暖炉や窓の外の景色)を挿入しMR空間を生成したもの。このようにPassthrough、Spatial Anchors、Scene Understandingを使って、複雑で、かつ、物理空間の意味を理解したメタバースを開発できる。

出典: Meta

手の動きを表現する技術：Interaction SDK

Interaction SDKは手やハンドセットの動きを仮想空間の中で表現するために使われる。手で仮想オブジェクトを掴んだり、触ったり、ポイントするなどの動作を司る。下の写真は、手で仮想のコーヒーマグの取ってを掴んでいる様子。Interaction SDKは、コンピュータビジョン使い、AIが手の動きをトラックし、オブジェクトとのインタラクションを把握する。

出典: Meta

話し言葉を理解する技術：Voice SDK

Voice SDKは自然言語解析の機能で、話し言葉により、ハンズフリーのオペレーションができる。これをゲームに適用すると、音声でプレーするゲームを開発できる。Voice SDKは、音声でのナビゲーションの他に、音声での検索や、音声でのQ&A機能を提供する。下の写真は、仮想のキャラクター「Oppy」の名前を呼ぶと、言葉の意味を理解して近づいてくる。

出典: Meta

次世代VRヘッドセット：Project Cambria

Metaは次世代のVRヘッドセットを開発している。このプロジェクトは「Project Cambria」と呼ばれ、ハイエンドのVRヘッドセットとなる。Project CambriaはSocial Presence機能やカラーのPassthrough機能を備えている。現在、Metaは消費者向けにVRヘッドセットOculus Quest 2を販売しているが、Project Cambriaはこの後継モデルではなく、ハイエンドの製品ラインとなる。

出典: Meta

モバイル向けAR：Spark AR

「Spark AR」はモバイル向けのAR開発環境で、既に多くのコンテンツが開発されている。これはMobile ARと呼ばれ、スマホのアプリに組み込んで利用する。例えば、顔に特殊効果を挿入する際にSpark ARが使われる。下の写真は、Spark ARで顔に特殊メイクを施し、妖怪に変身する事例。Metaは、このSpark ARを拡張し、メタバース向けに高度なARを開発している。

出典: Meta

ARグラス：Project Aria

MetaはARグラス「Project Aria」を開発している(下の写真右側)。これは、グラスにカメラとディスプレイを搭載した構造で、目の前の現実空間に仮想オブジェクトをインポーズする。ARグラスはDigital Assistantとなり、AIが周囲のオブジェクトの種別や意味を理解する(下の写真左側、ソファーやテーブルを認識する)。更に、AIは利用者の意図を把握して、次の行動をアシストする。利用者が電灯に視線を向けると、スイッチががオンになるなどの機能がある。

出典: Meta

ARグラスへの入力：Electromyography

ARグラスにデータを入力する方法が課題になるが、MetaはElectromyography(筋電図)という技法を開発している。これは筋肉で発生する微弱な電場をAIで解析することで、その意図を推定するもの。手首にデバイスを装着しElectromyographyを計測する。指でアルファベットを書くと、このデバイスがテキストに変換する(下の写真、テキストメッセージを入力している様子)。

出典: Meta

コンセプトの段階

Metaはメタバースの概要を始めて公開したが、これらはまだ製品ではなく、コンセプトの段階である。今回の発表はProof of Conceptを示し、メタバースが完成した時の製品イメージを提示することを目的とした。これによると、AR・VR・MR技術が大きく進化し、メタバースは現実空間と仮想空間が滑らかに融合した社会であることが分かった。一方、メタバースはより深い個人データを使うことも分かり、個人情報の保護がより厳しく求められる。