カテゴリー別アーカイブ: ウエアラブル

Google Glassが企業版として復活、早速試してみたが性能が大幅に向上しアプリがサクサク動く

Googleは2019年5月、企業向けスマートグラス最新モデル「Glass Enterprise Edition 2 (Glass EE2)」(下の写真) を発表した。Glass EE2はプロセッサが強化され、AI(コンピュータビジョンと機械学習)が組み込まれた。AR・VRカンファレンス「Augmented World Expo」でGlass EE2とそのアプリが紹介された。実際に使ってみると、Glass EE2は操作に対しレスポンスが速く、アプリがサクサク動き、性能アップを肌で感じた。

出典: VentureClef  

スマートグラス開発経緯

Googleのスマートグラスは開発方針が二転三転したが、企業向け製品とすることで方向が定まった。Googleは、2013年、スマートグラスのプロトタイプ「Glass Explorer」を投入し、次世代のウェアラブルの姿を示した。センセーショナルにデビューし市場の注目を集めたが、カメラによるプライバシー問題から、2015年、GoogleはGlassの販売を中止した。

企業向けスマートグラスに方針変更

Glass Explorerは消費者向け製品として位置付けられたが、Googleはそれを企業向けスマートグラスに仕立て直し、秘密裏に開発を続けていた。Googleは2017年、企業向けスマートグラスとして「Glass Enterprise Edition」を発表した。AR機能を使った業務用スマートグラスが登場し、製造、運輸、医療分野でトライアルが始まった。

Glass Enterprise Edition 2の概要

市場の反応は良好で、Googleは2019年5月、企業向け最新モデル「Glass Enterprise Edition 2」をリリースした(下の写真)。このモデルはプロトタイプの段階を卒業し、Googleの製品として位置付けられている。Glass EE2はプロセッサに「Qualcomm Snapdragon XR1」を採用し、演算性能が大幅に向上した。カメラ性能も強化され、インターフェイスとしてUSB-Cがサポートされた。更に、バッテリー容量が増え、一回の充電で使える時間が大幅に伸びた。(Glass EE2の形状は先頭の写真の通り、下の写真はこれにSmith Optics社製のフレームを装着したもの。)

出典: Google  

プロセッサ

Glass EE2が搭載しているQualcomm Snapdragon XR1はARとVRのヘッドセット向けに開発されたプロセッサで複数の演算機構から構成される。プロセッサはCPU(Kryo)、GPU (Adreno)、DSP(Hexagon Vector Processor)から成り、イメージ処理だけでなく、これらがAIエンジンとして機能しニューラルネットを高速で処理する。これにより画像認識(Object Classification)、ポーズ認識(Pose Prediction)、音声認識(Language Understanding)機能が大幅に向上した。

ソフトウェア

Glass EE2は「Android Oreo」を搭載し、基本ソフトが一新され、システム開発が容易になった。例えば、ライブラリやAPIを使いGlass EE2を既存システムと連携できる。また、デバイス管理機能「Android Enterprise Mobile Device Management」をサポートしており、利用企業は多数のGlass EE2を一括管理でき、業務での展開が容易になる。

パートナー企業経由で販売

Glass EE2はGoogleではなく、パートナー企業が販売する形態を取る。パートナー企業はスマートグラス向けに業務アプリを開発し、デバイスとともに販売する。既に多くのアプリが提供されており、主要企業で使われている。Glass EE2の価格は999ドルで2019年5月から販売が始まった。

製造業向けソリューション

既に、Glass EE2向けに業務ソリューションが登場している。UpskillはVienna(バージニア州)に拠点を置くベンチャー企業で、スマートグラス向けの製造ソリューションを開発している。これは「Skylight」と呼ばれ、ARを部品組み立てのプロセスに適用する。Boeingで採用され、航空機のワイアリング手順をスマートグラスに表示する(下の写真、右上のウインドウ)。作業者は視線を移すことなく、この手順(ワイヤを接続するスロットを表示)に従って作業を続けることができ、作業効率が大きく向上したと報告している。

出典: Upskill  

アプリのデモを体験

シリコンバレーで開催されたカンファレンス「Augmented World Expo」でUpskillはスマートグラス向けのアプリSkylightを出展し、AR製造ソリューションの利便性をアピールした。(下の写真、右側)。実際にこのアプリをGlass EE2で使ってみた。このアプリは機器製造で配線手順をARで表示するもので、操作手順に沿って作業をしてみた。Glass EE2のディスプレイにケーブル番号とスロット番号が示され、これに従って配線した(下の写真、左側、デモシステムと使用したGlass EE2)。操作マニュアルに視線を移す必要はなく、ハンズフリーで作業ができ、これは確かに便利なソリューションだと感じた。

出典: VentureClef  

Glass EE2の進化

Glass EE2を操作するとGlass Explorerから大きく進化しているのを感じた。Glass EE2はディスプレイの輝度と解像度が増し、文字や図形が鮮明に表示される。Glass EE2にタッチすると、アプリは機敏に反応し、操作が軽く感じる。Upskillによると、BoeingはGlass EE2が軽量で一回の充電で長時間使える点を評価しているとのこと。Glass EE2はもはやプロトタイプではなく、企業で使えるレベルまで完成度が向上した。

AI+ARアプリが登場か

Glass EE2はAIアプリをデバイス上で稼働させることができる構造となっている。このため、AIを活用した高度な業務ソリューションを開発できる。AIとARを組み合わせると、どんなアプリとなるのかが気になる。Glass EE2向けにオブジェクト認識機能や音声認識機能を組み込んだアプリが候補となる。再び、スマートグラス市場が動き出し、今度はAIと組み合わせた形でイノベーションが起こりそうだ。

Apple WatchのECG機能がリリースされた、家庭で心電図を計測し不整脈を検知できる

Apple WatchでECG機能がリリースされた。これは心電図を計測する機能で、スマートウォッチで心臓の健康状態をモニターできるようになった。ECGは心臓の不整脈を検知し、もし異常があれば病院で診断を受けることになる。病気の早期発見につながり、多く人命を救うことができると期待されている。

出典: Apple

ECG機能を公開

Appleは四世代目のスマートウィッチ「Apple Watch Series 4」を投入したが、ハードウェア機構が一新され、健康管理に重点を置くウエアラブルとなった。Apple Watch Series 4はECG (Electrocardiography、心電図)機構を搭載し、心臓の健康状態をモニターする(上の写真)。2018年12月、最新の基本ソフト (watchOS 5.1.2とiOS 12.1.1)がリリースされ、ECGを使えるようになった。

ECG測定方法

ECGとは心臓の鼓動を電気シグナルとして測定するもので、病院で心臓の状態を検査するために使われている。この機能がApple Watch Series 4に搭載され、家庭で心臓疾患を検知できるようになった。ECGを測定するにはApple Watchでアプリ「ECG」を起動し、指をクラウンにあてる(下の写真)。これで心臓を含む電気回路が作られ、心臓の鼓動の電気シグナルを計測する。測定に要する時間は30秒で、ディスプレイにECGの波形が示され、残り時間が表示される。

出典: Apple

測定結果

測定結果は問題が無ければ「Sinus Rhythm(洞調律)」と表示される。もし、不整脈の一種である心房細動が検知されると「Atrial Fibrillation」と表示される。アルゴリズムはECGの波形から心房(Atrium)と心室(Ventricle)の動きを解析する。心臓が一定のリズムで鼓動している時はSinus Rhythmと示される。一方、心臓の鼓動が不規則な状態であればAtrial Fibrillationと示され心房細動が発生していることを意味する。

Healthアプリ

測定結果はAppleの健康管理アプリ「Health」に格納される。ここには心拍数(Heart Rate)と心電図(ECG)の情報が格納される(下の写真、左側)。また、ECGのタブを開くと検査結果について、判定(Classifications)と心電図の波形(Waveform)が示される(下の写真、右側)。測定時に症状を入力することができ、その情報も表示される。(Apple Watch Series 4でECGを使い始めたが、健康管理には必須な機能だと感じる。検査結果を見るのは少し怖いが、心臓の健康状態がすぐに分かり、本当に役に立つウエアラブルだ。)

医師の診断を仰ぐ

万が一、異常が検知されると病院に行き医師に相談することになる。その際には、ECG検査結果をPDFに変換する機能があり、それを医師に提示して診断を仰ぐ。医師はECGの波形から心臓の状態を把握し、原因を検査していく手順となる。なお、ECGアプリは心房細動しか検知できないので、Apple Watchで心臓発作の兆候は把握できないことを留意する必要がある。

通知機能

上述のECG機能の他に、Apple Watchのソフトウェアがバックグランドで稼働し、心臓の健康状態をモニターする。心拍数から心房細動を検知するアルゴリズムが搭載され、アプリはそれを検知するとアラートを表示する。心拍シグナルをニューラルネットワークで解析し、心房細動を検知するものと思われる。Apple Watchを着装している時は連続して心臓の状態をモニターする。

出典: VentureClef

病院のECGとは異なる

Apple Watch Series 4のECGは病院で使われているECG(心電計)とは構造や機能が異なり、家庭向けの簡易版ECGという位置付けとなる。病院の心電計は12の電極を持ち、心臓の電気信号を異なる方向から捉える。このため、心房細動だけでなく、心臓発作の予兆(心臓のどの部分が壊死しているか)を検知する。これに対し、Apple Watch Series 4のECGの電極は一つで、心房細動だけを検知でき、心臓発作の予兆などそれ以外の症状は把握できない。

アメリカ食品医薬品局の認可

このため、Apple Watch Series 4はアメリカ食品医薬品局(FDA)から限定的な認可を受けている。Apple Watch Series 4は消費者向けに医療情報を提供することは認められているが、これを病気の診断で使うことはできない。つまり、Apple Watch Series 4は消費者が病状をスクリーニングするために使われ、病気判定は医師が下す必要がある。

Appleへの期待

限定的な機能であるが、Apple Watch Series 4のECGへの期待は大きい。これはApple Watchで心房細動をリアルタイムに把握できるためで、病気治療に大きく寄与すると考えられている。アメリカ心臓協会(American Heart Association)はApple WatchのECGを使うと、治療方法が劇的に変わり、多くの患者を救えると期待を寄せている。因みに、Apple Watch Series 4の心房細動の判定精度は高く、98%(Sensitivity、病気であることの判定)と99.6%(Specificity、病気でないことの判定)をマークしている。

ヘルスケア市場に進出

Apple Watch Series 4にECGを搭載したことで、Appleがヘルスケア市場に本格的に参入する流れが鮮明になった。AppleがiPodで音楽市場に進出したように、Apple Watchが医療機器に進化し、ヘルスケア市場進出への第一歩となる。Apple Watchはバイオセンサーとして、身体情報をモニターする医療機器としての役割が明確になり、次は、血圧や血糖値を測定する機構を投入するとのうわさが絶えない。

Apple Watchが医療機器に進化、スマートウォッチで心臓疾患を検知

Appleは2018年9月12日、特別イベント「Apple Special Event」で、iPhone XとApple Watchの新製品を発表した。第四世代となる「Apple Watch Series 4」は、ハードウェア機構が一新され、健康管理に重点を置くウエアラブルとなった。Apple Watch Series 4はECG (Electrocardiography、心電図) を計測するセンサーを搭載し、心臓の健康状態をモニターする。

出典: Apple

ECGとは

ECGとは心臓の鼓動を電気シグナルとして測定するもので、病院で心臓疾患を検査するために使われる。この機能がApple Watch Series 4に搭載され、家庭で心臓疾患を検知できるようになった。使い方はシンプルで、指をクラウン(Digital Crown)にあてると(下の写真)、アプリ「ECG」が起動し(上の写真、左側)、30秒で心電図を測定する(上の写真、右側)。測定結果は問題が無ければ「Sinus Rhythm」と表示される。もし、心房細動(不整脈の一種)が検知されると「Atrial Fibrillation」と示される。

出典: Apple

Apple Healthに記録される

測定結果はAppleの健康管理アプリ「Health」に格納される(下の写真)。検査結果の判定(Classifications)だけでなく、心電図の波形(Waveform)も記録される。更に、利用者はその時の症状を入力することができる。万が一、異常が検知されると、医師に相談することになるが、その際に、Healthに格納しているECG検査結果を示し、治療判断に役立てる。

出典: Apple

ECG計測のメカニズム

Apple Watch Series 4はECGを測定するために新しいハードウェア機構を搭載した。二つのモジュールから成り、ウォッチ背後に円形電極が付加され(下の写真、外側の円)、更に、クラウンがもう一つの電極として機能する(下の写真、左側の突起)。円形電極が皮膚に触れ、指をクラウンにあてることで、心臓を含む電気回路が作られる。この回路で心臓の鼓動の電気シグナルを計測する仕組みとなる。既にFDA(アメリカ食品医薬品局)の認可を受けており、Apple Watch Series 4を医療機器として使うことができる。

出典: Apple

心拍数の計測と心臓疾患検知

Apple Watchは発売当初から心拍数を測定する機能を提供しているが(下の写真、左側)、Series 4ではセンサーが一新され(上の写真、中央部緑色の部分)、新たな機能が加わった。Apple Watch Series 4は心拍数が異常に高い時、また低い時に、警告メッセージを表示する(下の写真、右側)。更に、上記ECGに加え、心拍数から心房細動を検知するアルゴリズムが搭載され、バックグランドで心臓の健康状態をモニターする。(詳細な説明はないが、心拍シグナルをニューラルネットワークで解析し、心房細動を検知すると思われる。ECGに比べ判定精度は低いが、Apple Watch Series 4を着装している時は、連続して心臓の状態をモニターできる。) センサーは緑色のLEDライトを皮膚に照射し、血管の伸縮や容積の変化を測定する。このデータを解析することで心拍数を把握する。エクササイズ時には心拍数から消費カロリー量を算定する。

出典: Apple

転倒検知機能

Apple Watch Series 4に利用者が転倒したことを検知する機能が付加された。転倒を検知するとディスプレイに緊急SOS(Emergency SOS)画面が表示され(下の写真、左側)、ボタンをスワイプすると電話が発信される(下の写真、右側)。転倒を検知して60秒間アクションが無い時は、利用者が危機的な状態にあると判断し、アプリが自動で電話を発信する。SOS電話の相手として、両親や配偶者などを事前に登録しておく。スノーボードで激しく転倒したときに、救助を求めるために使われる。また、一人暮らしの高齢者が転倒した時に、助けを求める機能としても使えそうだ。

出典: Apple

AliveCor

Apple Watch Series 4がECGを搭載したが、市場には既に多くの製品が販売されている。AliveCorというベンチャー企業は「Kardia Band」というECGモジュールを開発した。これをApple Watchに着装すると(下の写真、バンドの四角のデバイス)ECGを測定できる。このデバイスに指をあててECGを測定し、結果はApple Watchのディスプレイに表示される。Kardia BandがApple WatchでECGを測定できる最初のデバイスとなり、既にFDAの認可を取得し、医療機器として使われている。

出典: AliveCor

Cardiogram

Cardiogramというベンチャー企業は、Apple Watchで心臓疾患を検知するAIを開発した。カリフォルニア大学サンフランシスコ校との共同研究の成果で、Apple Watchで収集した心拍データをAIで解析し、不整脈の一種である心房細動を検知する。Apple Watch Series 4もこれと同じ方式で、心拍シグナルをAIで解析し、心房細動を検知するものと思われる。

健康管理プラットフォーム

Apple Watch Series 4に先立ち、ベンチャー企業で心臓疾患を検知する高度な技術が開発された。Appleはこれら先進技法を取り込み、消費者に使いやすいデザインで提供していることに特徴がある。更に、管理アプリHealthで健康管理をプラットフォームとして設計しており、病院など他のシステムとの連携が期待される。

Apple Watchは医療機器に Apple Watchは、コミュニケーション(通信機能)、エクササイズ(運動量把握)、ヘルスケア(健康管理)の三つの基軸機能を持っている。Apple Watch Series 4でECG機能が搭載され、ヘルスケア機能が大幅にに向上した。Apple Watchはバイオセンサーとして、身体情報をモニターする医療機器としての役割が鮮明になった。Apple Watchは血圧や血糖値を測定する機構を搭載するとのうわさが絶えず、次は何が登場するのか、スマートウォッチが大きく進化している。

Apple WatchをAIで機能強化、スマートウォッチで心臓の異常を検知

Apple Watchは健康管理のウエアラブルとして人気が高い。ただ、センサーの機能には限界があり心拍数計測精度が不安定といわれる。このため、Apple Watchで収集する心拍数データをAIで解析し心臓の異常を検知する研究が進んでいる。病院でECG検査を受けなくても、Apple Watchで24時間連続して心臓の健康状態をモニターできる。

出典: Cardiogram

Cardiogramというベンチャー企業

この技術を開発したのはサンフランシスコに拠点を置くCardiogramというベンチャー企業だ。同名のCardiogramというアプリがApple Watchで測定した身体データを解析し心臓の動きを把握する (上の写真)。デバイスと連動し心拍数がエクササイズにどう反応するかを把握する。また、平常時の心拍数をモニターし、身体がストレスや食事などにどう反応するかも理解する。更に、心拍数を解析し心臓疾患を検知する研究が進められている。

Apple HealthKitと連動

Cardiogramは健康管理のアプリとしてiOS向けに開発された。Cardiogramの特徴は身体情報をApple Watchで収集することにある。Appleは健康管理アプリ開発基盤「HealthKit」を展開している。Apple Watchで計測した身体データは利用者の了解のもとHealthKitに集約される。CardiogramはHealthKit経由で利用者の身体情報にアクセスし、これらデータを解析し健康に関する知見を得る。具体的には、Apple Watch利用者の心拍数、立っていた時間、消費カロリー量、エクササイズ時間、歩数などを可視化して分かりやすく示す (下の写真)。

出典: VentureClef

Evidence-Based Behavior

Cardiogramは「Evidence-Based Behavior」という手法を使って心臓の挙動を把握する技術を開発している。この手法は日々の行動やエクササイズがバイオマーカーにどう影響するかを検証する。例えば14日間ジョギングをすると、これが心拍数にどう影響するかを解析する。これで心拍数が7%低下すると、この行動は健康に効果があると判定する。Cardiogramは健康管理に役立つエビデンスを特定して利用者に示す。ジョギングの他に自転車、瞑想、ヨガ、睡眠時間などのプログラムが揃っている。また、スマホを絶つと健康にプラスに作用するのかを検証するメニューもある。

Apple Watchで不整脈を検知する研究

CardiogramはApple Watchを使って心臓の状態をモニターし、AIで異常を検知する研究を進めている。これはUC San Francisco (カリフォルニア大学サンフランシスコ校) との共同研究で「mRhythm Study」と呼ばれている。6185人を対象にApple Watchで収集した心拍データを解析し不整脈の一種である心房細動 (Atrial Fibrillation) を検出する。臨床試験の結果、判定精度は高く97%の確率で心房細動を検知できたと報告している。

心房細動を検知するアルゴリズム

Apple Watchで収集したシグナルから心房細動を検知するアルゴリズムにAIが使われた。アルゴリズムはConvolutional LayerとLSTM Layerを組み合わせた四階層の構造を取る (下のダイアグラム)。アルゴリズムに心拍数を入力するとタイムステップ毎にスコアを出力する。スコアは心房細動が発生している確率で、これを各時間ごとに見ることができる。つまり、Apple Watchを着装しているあいだ、いつ心房細動が起こったかを把握できる。病院のECGを使わなくても市販のウエアラブルにAIを組み合わせることで心臓疾患を把握できることが証明され、その成果に注目が集まっている。

出典: Cardiogram

データ収集が課題

同時にこの研究で課題も明らかになった。アルゴリズムを教育するためにはタグ付きのデータが数多く必要となる。このケースではApple Watchで収集した心拍シグナルとECGで計測した心電図のデータを大量に必要とする。特に、患者が心房細動を発症した時の両者のシグナルの紐づけがカギとなる。しかし、これらのデータは病院における心臓疾患患者のECG検査で得られ、その数は限られている。このため、この研究ではモバイル形式のECG測定デバイス「Kardia Mobile」が使われた。

Kardio Mobileとは

Kardia Mobileとはスマートフォンと連動して機能する心電図計測デバイスである。Kardia Mobileには電極が二点あり、被験者はここに指をあててて心電図を計測する (下の写真下段)。測定時間は30秒で、結果はスマートフォンのディスプレイに表示される (下の写真上段)。ガジェットのように見えるが既にFDA (米国食品医薬品局) の認可を受けており、医療システムとして病院や家庭で使われている。研究ではこのKardio Mobileが使われ、6,338件のデータを収取し、これらが教育データとして使われた。因みにKardio MobileがFDA認可を受けた最初のモバイルECGで小さなデバイでも心電図を高精度に測定できる。デバイスの価格は99ドルで、簡単に心電図を測定できるため米国の家庭で普及が始まった。

出典: AliveCor

GoogleのBaseline Project

Googleもウエアラブルを使って心臓の状態をモニターする研究を進めている。Alphabet配下のデジタルヘルス部門Verilyは人体のバイオデータを解析し、健康状態を把握することを目標にしている。これは「Baseline Project」と呼ばれ健康な人体を定義し、ここから逸脱すると「未病」と判定し、利用者に警告メッセージを発信する。Verilyは2017年4月、リストバンド型のバイオセンサー「Study Watch」を発表した (下の写真)。ECG、心拍数、活動状態をモニターでき、Study Watchを使った大規模なフィールド試験が始まった。

出典: Verily

健康管理に役立つウエアラブル

実はここ最近Apple WatchやFitbitなど健康管理のウエアラブルは販売が低迷している。Fitbitは大規模なレイオフを実施し事業を再構築している。消費者は健康管理のためにウエアラブルを買うが、センサーの機能と精度は限定的で思ったほど役立たないというのが共通した声だ。市場は高精度・高機能のウエアラブルを求めており、Apple Watchなどは対応を迫られている。その一つの解がAIで、既存センサーをアルゴリズムで補完することで機能を強化する。Cardiogramがその実例で健康管理に役立つことが証明された。本当に健康管理に役立つウエアラブルが求められておりAIの果たす役割が広がってきた。