カテゴリー別アーカイブ: AR/VR/MR

Facebookは脳のシグナルでコンピュータを操作する技術を買収、AR/VRに応用し脳波で仮想世界と接する

Facebookは今週、脳とコンピュータのインターフェイスを開発しているベンチャー企業「CTRL-labs」の買収を発表。CTRL-labsは、脳が出すシグナルをリストバンドで検知し、利用者の意図を把握する。これをコンピュータに応用すると、指を動かすだけでキーボードを操作できる。ちょうどエア・ギターの要領で、指でキーを押す真似をするとタイプできる。Facebookはこの技術をAR/VRに応用する計画で、コントローラを使わないで、指や手でオブジェクトを操作する。脳波が仮想現実社会のインターフェイスとなる。

出典: CTRL-labs

発表概要

Facebookは2019年9月、ニューヨークに拠点を置くベンチャー企業CTRL-labsを買収することを発表した。CTRL-labsは脳波からのシグナルでコンピュータを操作する技術を開発している。リストバンド(上の写真、左側のデバイス)を腕に装着して利用する。指でキーボードをタイプする真似をすると、リストバンドが脳からのシグナルを検知し、AIがその意図を解釈し、それをデバイスに送り、実際に文字が入力される。

Neural Interface Platform

CTRL-labsは脳波でコンピュータを操作する仕組みを「Neural Interface Platform」と呼んでいる。人間は目や耳から大量の情報を脳に読み込むが、脳の情報を外部に出力する手段は限られている。脳の情報を出力するには、口や声帯の筋肉を動かし、音を生成して情報を伝える。また、腕や指の筋肉を動かし、キーボードで文字を打ち込む。つまり、脳の情報を出力するには筋肉が使われ、生成されるデータ量が限られる。CTRL-labsはこの非対称性を改善するため、脳からのデータ出力量を拡大するプラットフォームを開発した。

CTRL-labsの動作原理

人間が手を動かすときに、脳から命令が発せられ、それが脊髄(Spinal Cord)から、手の筋肉を動かすシグナルとして発せられる(下の写真)。腕の筋肉はこのシグナルに従って手や指を動かす。CTRL-labsはこのシグナルを検知することでデバイスを操作する。具体的には、腕には複数の筋肉があり、それらのシグナル(微弱な電流)をリストバンドで検知する。収集したシグナルをニューラルネットワークで解析し、その意図を把握する。例えば、親指でキーを押す動作をすると、特定のシグナルが生成され、この波形をAIで解析し、その意図を特定する。

出典: CTRL-labs

脳波を検知する手法

脳波を解析する手法は二つあり、CTRL-labsの技法は「Electromyography (EMG)」と呼ばれ、脳波を腕の筋肉のシグナルからとらえる。一方、頭皮に電極を装着して脳波を直接センシングする方式もある。これは「Electroencephalography (EEG)」と呼ばれ、脳波そのものを計測し、そのシグナルから意図を把握する。EEGは医療やメンタルヘルスで使われるケースが殆どで、コンピュータインターフェイスとしての機能は限られている。

プロトタイプを公開

CTRL-labsはステルスモードで技術を開発してきたが昨年末、これを公開しリストバンドを使ったデモが実施された。リストバンドを両手首に巻いて指を動かすと、仮想の指が意図した通りにに動く。また、このシグナルをパソコンに入力すると、キーボードを使わないで、指を動かすだけでタイプできる。エア・タイプの感覚で指で机の表面を押すと文字が入力される(下の写真)。

出典: CTRL-labs

AR/VRに応用

このシステムをAR/VRに統合すると、仮想空間のオブジェクトをコントローラを使わないで手や指で操作できる。AR/VRでは画面を操作するためにコントローラが必要で、ボタンを動かしオブジェクトを操作する。また、ヘッドセットに搭載されたカメラが指の動きを撮影して意図を掴む方式もある。CTRL-labsを使うとこれらの機器が不要となり、手や指でオブジェクトを操作できる (下の写真)。これにより仮想空間と直感的なインターフェイスが形成される。

出典: CTRL-labs

企業買収の目的

FacebookのAR/VR部門副社長Andrew Bosworthはこの買収をブログで公開し、CTRL-labsはAR/VR研究部門「Facebook Reality Labs」に加わることを明らかにした。この部門はOculusを中心としたAR/VR技術を開発しており、CTRL-labsを使うことで自然で直感的なインターフェイスを探求する。買収金額は10億ドルから5億ドルと噂されており、Oculusに次ぐ大型買収となる。FacebookはAR/VRで次世代コンピュータ基盤を開発しているとされ、その研究内容に注目が集まっている。

Google Glassが企業版として復活、早速試してみたが性能が大幅に向上しアプリがサクサク動く

Googleは2019年5月、企業向けスマートグラス最新モデル「Glass Enterprise Edition 2 (Glass EE2)」(下の写真) を発表した。Glass EE2はプロセッサが強化され、AI(コンピュータビジョンと機械学習)が組み込まれた。AR・VRカンファレンス「Augmented World Expo」でGlass EE2とそのアプリが紹介された。実際に使ってみると、Glass EE2は操作に対しレスポンスが速く、アプリがサクサク動き、性能アップを肌で感じた。

出典: VentureClef  

スマートグラス開発経緯

Googleのスマートグラスは開発方針が二転三転したが、企業向け製品とすることで方向が定まった。Googleは、2013年、スマートグラスのプロトタイプ「Glass Explorer」を投入し、次世代のウェアラブルの姿を示した。センセーショナルにデビューし市場の注目を集めたが、カメラによるプライバシー問題から、2015年、GoogleはGlassの販売を中止した。

企業向けスマートグラスに方針変更

Glass Explorerは消費者向け製品として位置付けられたが、Googleはそれを企業向けスマートグラスに仕立て直し、秘密裏に開発を続けていた。Googleは2017年、企業向けスマートグラスとして「Glass Enterprise Edition」を発表した。AR機能を使った業務用スマートグラスが登場し、製造、運輸、医療分野でトライアルが始まった。

Glass Enterprise Edition 2の概要

市場の反応は良好で、Googleは2019年5月、企業向け最新モデル「Glass Enterprise Edition 2」をリリースした(下の写真)。このモデルはプロトタイプの段階を卒業し、Googleの製品として位置付けられている。Glass EE2はプロセッサに「Qualcomm Snapdragon XR1」を採用し、演算性能が大幅に向上した。カメラ性能も強化され、インターフェイスとしてUSB-Cがサポートされた。更に、バッテリー容量が増え、一回の充電で使える時間が大幅に伸びた。(Glass EE2の形状は先頭の写真の通り、下の写真はこれにSmith Optics社製のフレームを装着したもの。)

出典: Google  

プロセッサ

Glass EE2が搭載しているQualcomm Snapdragon XR1はARとVRのヘッドセット向けに開発されたプロセッサで複数の演算機構から構成される。プロセッサはCPU(Kryo)、GPU (Adreno)、DSP(Hexagon Vector Processor)から成り、イメージ処理だけでなく、これらがAIエンジンとして機能しニューラルネットを高速で処理する。これにより画像認識(Object Classification)、ポーズ認識(Pose Prediction)、音声認識(Language Understanding)機能が大幅に向上した。

ソフトウェア

Glass EE2は「Android Oreo」を搭載し、基本ソフトが一新され、システム開発が容易になった。例えば、ライブラリやAPIを使いGlass EE2を既存システムと連携できる。また、デバイス管理機能「Android Enterprise Mobile Device Management」をサポートしており、利用企業は多数のGlass EE2を一括管理でき、業務での展開が容易になる。

パートナー企業経由で販売

Glass EE2はGoogleではなく、パートナー企業が販売する形態を取る。パートナー企業はスマートグラス向けに業務アプリを開発し、デバイスとともに販売する。既に多くのアプリが提供されており、主要企業で使われている。Glass EE2の価格は999ドルで2019年5月から販売が始まった。

製造業向けソリューション

既に、Glass EE2向けに業務ソリューションが登場している。UpskillはVienna(バージニア州)に拠点を置くベンチャー企業で、スマートグラス向けの製造ソリューションを開発している。これは「Skylight」と呼ばれ、ARを部品組み立てのプロセスに適用する。Boeingで採用され、航空機のワイアリング手順をスマートグラスに表示する(下の写真、右上のウインドウ)。作業者は視線を移すことなく、この手順(ワイヤを接続するスロットを表示)に従って作業を続けることができ、作業効率が大きく向上したと報告している。

出典: Upskill  

アプリのデモを体験

シリコンバレーで開催されたカンファレンス「Augmented World Expo」でUpskillはスマートグラス向けのアプリSkylightを出展し、AR製造ソリューションの利便性をアピールした。(下の写真、右側)。実際にこのアプリをGlass EE2で使ってみた。このアプリは機器製造で配線手順をARで表示するもので、操作手順に沿って作業をしてみた。Glass EE2のディスプレイにケーブル番号とスロット番号が示され、これに従って配線した(下の写真、左側、デモシステムと使用したGlass EE2)。操作マニュアルに視線を移す必要はなく、ハンズフリーで作業ができ、これは確かに便利なソリューションだと感じた。

出典: VentureClef  

Glass EE2の進化

Glass EE2を操作するとGlass Explorerから大きく進化しているのを感じた。Glass EE2はディスプレイの輝度と解像度が増し、文字や図形が鮮明に表示される。Glass EE2にタッチすると、アプリは機敏に反応し、操作が軽く感じる。Upskillによると、BoeingはGlass EE2が軽量で一回の充電で長時間使える点を評価しているとのこと。Glass EE2はもはやプロトタイプではなく、企業で使えるレベルまで完成度が向上した。

AI+ARアプリが登場か

Glass EE2はAIアプリをデバイス上で稼働させることができる構造となっている。このため、AIを活用した高度な業務ソリューションを開発できる。AIとARを組み合わせると、どんなアプリとなるのかが気になる。Glass EE2向けにオブジェクト認識機能や音声認識機能を組み込んだアプリが候補となる。再び、スマートグラス市場が動き出し、今度はAIと組み合わせた形でイノベーションが起こりそうだ。