Facebookは脳のシグナルでコンピュータを操作する技術を買収、AR/VRに応用し脳波で仮想世界と接する

Facebookは今週、脳とコンピュータのインターフェイスを開発しているベンチャー企業「CTRL-labs」の買収を発表。CTRL-labsは、脳が出すシグナルをリストバンドで検知し、利用者の意図を把握する。これをコンピュータに応用すると、指を動かすだけでキーボードを操作できる。ちょうどエア・ギターの要領で、指でキーを押す真似をするとタイプできる。Facebookはこの技術をAR/VRに応用する計画で、コントローラを使わないで、指や手でオブジェクトを操作する。脳波が仮想現実社会のインターフェイスとなる。

出典: CTRL-labs

発表概要

Facebookは2019年9月、ニューヨークに拠点を置くベンチャー企業CTRL-labsを買収することを発表した。CTRL-labsは脳波からのシグナルでコンピュータを操作する技術を開発している。リストバンド(上の写真、左側のデバイス)を腕に装着して利用する。指でキーボードをタイプする真似をすると、リストバンドが脳からのシグナルを検知し、AIがその意図を解釈し、それをデバイスに送り、実際に文字が入力される。

Neural Interface Platform

CTRL-labsは脳波でコンピュータを操作する仕組みを「Neural Interface Platform」と呼んでいる。人間は目や耳から大量の情報を脳に読み込むが、脳の情報を外部に出力する手段は限られている。脳の情報を出力するには、口や声帯の筋肉を動かし、音を生成して情報を伝える。また、腕や指の筋肉を動かし、キーボードで文字を打ち込む。つまり、脳の情報を出力するには筋肉が使われ、生成されるデータ量が限られる。CTRL-labsはこの非対称性を改善するため、脳からのデータ出力量を拡大するプラットフォームを開発した。

CTRL-labsの動作原理

人間が手を動かすときに、脳から命令が発せられ、それが脊髄(Spinal Cord)から、手の筋肉を動かすシグナルとして発せられる(下の写真)。腕の筋肉はこのシグナルに従って手や指を動かす。CTRL-labsはこのシグナルを検知することでデバイスを操作する。具体的には、腕には複数の筋肉があり、それらのシグナル(微弱な電流)をリストバンドで検知する。収集したシグナルをニューラルネットワークで解析し、その意図を把握する。例えば、親指でキーを押す動作をすると、特定のシグナルが生成され、この波形をAIで解析し、その意図を特定する。

出典: CTRL-labs

脳波を検知する手法

脳波を解析する手法は二つあり、CTRL-labsの技法は「Electromyography (EMG)」と呼ばれ、脳波を腕の筋肉のシグナルからとらえる。一方、頭皮に電極を装着して脳波を直接センシングする方式もある。これは「Electroencephalography (EEG)」と呼ばれ、脳波そのものを計測し、そのシグナルから意図を把握する。EEGは医療やメンタルヘルスで使われるケースが殆どで、コンピュータインターフェイスとしての機能は限られている。

プロトタイプを公開

CTRL-labsはステルスモードで技術を開発してきたが昨年末、これを公開しリストバンドを使ったデモが実施された。リストバンドを両手首に巻いて指を動かすと、仮想の指が意図した通りにに動く。また、このシグナルをパソコンに入力すると、キーボードを使わないで、指を動かすだけでタイプできる。エア・タイプの感覚で指で机の表面を押すと文字が入力される(下の写真)。

出典: CTRL-labs

AR/VRに応用

このシステムをAR/VRに統合すると、仮想空間のオブジェクトをコントローラを使わないで手や指で操作できる。AR/VRでは画面を操作するためにコントローラが必要で、ボタンを動かしオブジェクトを操作する。また、ヘッドセットに搭載されたカメラが指の動きを撮影して意図を掴む方式もある。CTRL-labsを使うとこれらの機器が不要となり、手や指でオブジェクトを操作できる (下の写真)。これにより仮想空間と直感的なインターフェイスが形成される。

出典: CTRL-labs

企業買収の目的

FacebookのAR/VR部門副社長Andrew Bosworthはこの買収をブログで公開し、CTRL-labsはAR/VR研究部門「Facebook Reality Labs」に加わることを明らかにした。この部門はOculusを中心としたAR/VR技術を開発しており、CTRL-labsを使うことで自然で直感的なインターフェイスを探求する。買収金額は10億ドルから5億ドルと噂されており、Oculusに次ぐ大型買収となる。FacebookはAR/VRで次世代コンピュータ基盤を開発しているとされ、その研究内容に注目が集まっている。