カテゴリー別アーカイブ: Apple

Appleはクレジットカード「Apple Card」を発表、お洒落なだけでなく安心感が格段に向上

Appleは2019年3月、自社ブランドのクレジットカード「Apple Card」を発表した。Apple Cardはチタン製のお洒落なカードで、表面にはカード番号などは印字されておらず、安全性を重視したデザインとなっている(下の写真)。Apple CardはiPhoneに格納し、Apple Payのモバイル決済として利用する方式が中心となる。Appleがクレジットカード事業に進出したことで、フィンテック市場が大きく変わろうとしている。🔒

出典: Apple  

Apple WatchのECG機能がリリースされた、家庭で心電図を計測し不整脈を検知できる

Apple WatchでECG機能がリリースされた。これは心電図を計測する機能で、スマートウォッチで心臓の健康状態をモニターできるようになった。ECGは心臓の不整脈を検知し、もし異常があれば病院で診断を受けることになる。病気の早期発見につながり、多く人命を救うことができると期待されている。

出典: Apple

ECG機能を公開

Appleは四世代目のスマートウィッチ「Apple Watch Series 4」を投入したが、ハードウェア機構が一新され、健康管理に重点を置くウエアラブルとなった。Apple Watch Series 4はECG (Electrocardiography、心電図)機構を搭載し、心臓の健康状態をモニターする(上の写真)。2018年12月、最新の基本ソフト (watchOS 5.1.2とiOS 12.1.1)がリリースされ、ECGを使えるようになった。

ECG測定方法

ECGとは心臓の鼓動を電気シグナルとして測定するもので、病院で心臓の状態を検査するために使われている。この機能がApple Watch Series 4に搭載され、家庭で心臓疾患を検知できるようになった。ECGを測定するにはApple Watchでアプリ「ECG」を起動し、指をクラウンにあてる(下の写真)。これで心臓を含む電気回路が作られ、心臓の鼓動の電気シグナルを計測する。測定に要する時間は30秒で、ディスプレイにECGの波形が示され、残り時間が表示される。

出典: Apple

測定結果

測定結果は問題が無ければ「Sinus Rhythm(洞調律)」と表示される。もし、不整脈の一種である心房細動が検知されると「Atrial Fibrillation」と表示される。アルゴリズムはECGの波形から心房(Atrium)と心室(Ventricle)の動きを解析する。心臓が一定のリズムで鼓動している時はSinus Rhythmと示される。一方、心臓の鼓動が不規則な状態であればAtrial Fibrillationと示され心房細動が発生していることを意味する。

Healthアプリ

測定結果はAppleの健康管理アプリ「Health」に格納される。ここには心拍数(Heart Rate)と心電図(ECG)の情報が格納される(下の写真、左側)。また、ECGのタブを開くと検査結果について、判定(Classifications)と心電図の波形(Waveform)が示される(下の写真、右側)。測定時に症状を入力することができ、その情報も表示される。(Apple Watch Series 4でECGを使い始めたが、健康管理には必須な機能だと感じる。検査結果を見るのは少し怖いが、心臓の健康状態がすぐに分かり、本当に役に立つウエアラブルだ。)

医師の診断を仰ぐ

万が一、異常が検知されると病院に行き医師に相談することになる。その際には、ECG検査結果をPDFに変換する機能があり、それを医師に提示して診断を仰ぐ。医師はECGの波形から心臓の状態を把握し、原因を検査していく手順となる。なお、ECGアプリは心房細動しか検知できないので、Apple Watchで心臓発作の兆候は把握できないことを留意する必要がある。

通知機能

上述のECG機能の他に、Apple Watchのソフトウェアがバックグランドで稼働し、心臓の健康状態をモニターする。心拍数から心房細動を検知するアルゴリズムが搭載され、アプリはそれを検知するとアラートを表示する。心拍シグナルをニューラルネットワークで解析し、心房細動を検知するものと思われる。Apple Watchを着装している時は連続して心臓の状態をモニターする。

出典: VentureClef

病院のECGとは異なる

Apple Watch Series 4のECGは病院で使われているECG(心電計)とは構造や機能が異なり、家庭向けの簡易版ECGという位置付けとなる。病院の心電計は12の電極を持ち、心臓の電気信号を異なる方向から捉える。このため、心房細動だけでなく、心臓発作の予兆(心臓のどの部分が壊死しているか)を検知する。これに対し、Apple Watch Series 4のECGの電極は一つで、心房細動だけを検知でき、心臓発作の予兆などそれ以外の症状は把握できない。

アメリカ食品医薬品局の認可

このため、Apple Watch Series 4はアメリカ食品医薬品局(FDA)から限定的な認可を受けている。Apple Watch Series 4は消費者向けに医療情報を提供することは認められているが、これを病気の診断で使うことはできない。つまり、Apple Watch Series 4は消費者が病状をスクリーニングするために使われ、病気判定は医師が下す必要がある。

Appleへの期待

限定的な機能であるが、Apple Watch Series 4のECGへの期待は大きい。これはApple Watchで心房細動をリアルタイムに把握できるためで、病気治療に大きく寄与すると考えられている。アメリカ心臓協会(American Heart Association)はApple WatchのECGを使うと、治療方法が劇的に変わり、多くの患者を救えると期待を寄せている。因みに、Apple Watch Series 4の心房細動の判定精度は高く、98%(Sensitivity、病気であることの判定)と99.6%(Specificity、病気でないことの判定)をマークしている。

ヘルスケア市場に進出

Apple Watch Series 4にECGを搭載したことで、Appleがヘルスケア市場に本格的に参入する流れが鮮明になった。AppleがiPodで音楽市場に進出したように、Apple Watchが医療機器に進化し、ヘルスケア市場進出への第一歩となる。Apple Watchはバイオセンサーとして、身体情報をモニターする医療機器としての役割が明確になり、次は、血圧や血糖値を測定する機構を投入するとのうわさが絶えない。

Apple Watchが医療機器に進化、スマートウォッチで心臓疾患を検知

Appleは2018年9月12日、特別イベント「Apple Special Event」で、iPhone XとApple Watchの新製品を発表した。第四世代となる「Apple Watch Series 4」は、ハードウェア機構が一新され、健康管理に重点を置くウエアラブルとなった。Apple Watch Series 4はECG (Electrocardiography、心電図) を計測するセンサーを搭載し、心臓の健康状態をモニターする。

出典: Apple

ECGとは

ECGとは心臓の鼓動を電気シグナルとして測定するもので、病院で心臓疾患を検査するために使われる。この機能がApple Watch Series 4に搭載され、家庭で心臓疾患を検知できるようになった。使い方はシンプルで、指をクラウン(Digital Crown)にあてると(下の写真)、アプリ「ECG」が起動し(上の写真、左側)、30秒で心電図を測定する(上の写真、右側)。測定結果は問題が無ければ「Sinus Rhythm」と表示される。もし、心房細動(不整脈の一種)が検知されると「Atrial Fibrillation」と示される。

出典: Apple

Apple Healthに記録される

測定結果はAppleの健康管理アプリ「Health」に格納される(下の写真)。検査結果の判定(Classifications)だけでなく、心電図の波形(Waveform)も記録される。更に、利用者はその時の症状を入力することができる。万が一、異常が検知されると、医師に相談することになるが、その際に、Healthに格納しているECG検査結果を示し、治療判断に役立てる。

出典: Apple

ECG計測のメカニズム

Apple Watch Series 4はECGを測定するために新しいハードウェア機構を搭載した。二つのモジュールから成り、ウォッチ背後に円形電極が付加され(下の写真、外側の円)、更に、クラウンがもう一つの電極として機能する(下の写真、左側の突起)。円形電極が皮膚に触れ、指をクラウンにあてることで、心臓を含む電気回路が作られる。この回路で心臓の鼓動の電気シグナルを計測する仕組みとなる。既にFDA(アメリカ食品医薬品局)の認可を受けており、Apple Watch Series 4を医療機器として使うことができる。

出典: Apple

心拍数の計測と心臓疾患検知

Apple Watchは発売当初から心拍数を測定する機能を提供しているが(下の写真、左側)、Series 4ではセンサーが一新され(上の写真、中央部緑色の部分)、新たな機能が加わった。Apple Watch Series 4は心拍数が異常に高い時、また低い時に、警告メッセージを表示する(下の写真、右側)。更に、上記ECGに加え、心拍数から心房細動を検知するアルゴリズムが搭載され、バックグランドで心臓の健康状態をモニターする。(詳細な説明はないが、心拍シグナルをニューラルネットワークで解析し、心房細動を検知すると思われる。ECGに比べ判定精度は低いが、Apple Watch Series 4を着装している時は、連続して心臓の状態をモニターできる。) センサーは緑色のLEDライトを皮膚に照射し、血管の伸縮や容積の変化を測定する。このデータを解析することで心拍数を把握する。エクササイズ時には心拍数から消費カロリー量を算定する。

出典: Apple

転倒検知機能

Apple Watch Series 4に利用者が転倒したことを検知する機能が付加された。転倒を検知するとディスプレイに緊急SOS(Emergency SOS)画面が表示され(下の写真、左側)、ボタンをスワイプすると電話が発信される(下の写真、右側)。転倒を検知して60秒間アクションが無い時は、利用者が危機的な状態にあると判断し、アプリが自動で電話を発信する。SOS電話の相手として、両親や配偶者などを事前に登録しておく。スノーボードで激しく転倒したときに、救助を求めるために使われる。また、一人暮らしの高齢者が転倒した時に、助けを求める機能としても使えそうだ。

出典: Apple

AliveCor

Apple Watch Series 4がECGを搭載したが、市場には既に多くの製品が販売されている。AliveCorというベンチャー企業は「Kardia Band」というECGモジュールを開発した。これをApple Watchに着装すると(下の写真、バンドの四角のデバイス)ECGを測定できる。このデバイスに指をあててECGを測定し、結果はApple Watchのディスプレイに表示される。Kardia BandがApple WatchでECGを測定できる最初のデバイスとなり、既にFDAの認可を取得し、医療機器として使われている。

出典: AliveCor

Cardiogram

Cardiogramというベンチャー企業は、Apple Watchで心臓疾患を検知するAIを開発した。カリフォルニア大学サンフランシスコ校との共同研究の成果で、Apple Watchで収集した心拍データをAIで解析し、不整脈の一種である心房細動を検知する。Apple Watch Series 4もこれと同じ方式で、心拍シグナルをAIで解析し、心房細動を検知するものと思われる。

健康管理プラットフォーム

Apple Watch Series 4に先立ち、ベンチャー企業で心臓疾患を検知する高度な技術が開発された。Appleはこれら先進技法を取り込み、消費者に使いやすいデザインで提供していることに特徴がある。更に、管理アプリHealthで健康管理をプラットフォームとして設計しており、病院など他のシステムとの連携が期待される。

Apple Watchは医療機器に Apple Watchは、コミュニケーション(通信機能)、エクササイズ(運動量把握)、ヘルスケア(健康管理)の三つの基軸機能を持っている。Apple Watch Series 4でECG機能が搭載され、ヘルスケア機能が大幅にに向上した。Apple Watchはバイオセンサーとして、身体情報をモニターする医療機器としての役割が鮮明になった。Apple Watchは血圧や血糖値を測定する機構を搭載するとのうわさが絶えず、次は何が登場するのか、スマートウォッチが大きく進化している。

Apple Face IDの発表で顔認証技術がブレークする兆し、同時にAIを悪用した攻撃への対応が求められる

AppleはiPhone Xで顔認証技術「Face ID」を発表した。カメラに顔を向けるだけで認証でき、安全性と手軽さが評価され顔認証サービスが普及する勢いとなってきた。スマートフォンや金融サービスで顔認証の導入が一気に進む可能性がある。同時に、顔認証技術はAIを悪用した高度な攻撃に対する備えが求められている。

出典: Apple  

顔認証技術は早くから登場していたが

顔認証技術は1960年代に登場した技術であるが、その精度に問題があり特殊な分野に限定して使われ、一般に普及することは無かった。近年では、AIの進化により顔認証技術の精度が向上し、ベンチャー企業が製品化を進めオンラインバンキングなどで試験的な導入が始まった。同時に、スマートフォンでの展開も始まり、SamsungはハイエンドモデルGalaxy Note 8で顔認証技術を導入した。

Samsung Galaxy Note8の顔認証技術

Galaxy Note 8は2017年9月に出荷されたが、発売直後に顔認証機能が破られる事件が発生した。写真をGalaxy Note 8にかざすとロック画面が解除されることが判明した。利用者は別のスマホで自身の顔を撮影し、それをGalaxy Note 8の顔認証画面に向けるとロック画面が解除さる。Samsungは見解を発表していないが、製品説明を読むと「顔認証は指紋認証やPINなどに比べ安全性が低い」と記載されている。Galaxy Note 8の顔認証機能はセキュリティではなく利便性を重視したデザインとなっている。

Apple Face IDのメカニズム

これに対してApple Face IDはセキュリティ機能を格段に強化し安全に使えるデザインとなっている。Face IDは3Dで顔を識別するため写真や動画で認証されることは無い。iPhone Xは「TrueDepth Camera」と呼ばれる特殊なカメラを搭載しセンサーが顔を3Dで認識する。ここに内蔵されているプロジェクター (Dot Projector、下の写真右端のデバイス) から3万個のドットが顔に照射され、これを赤外線カメラ (Infrared Camera、下の写真左端のデバイス) で読み込み顔の3Dマップ (先頭の写真) を作成する。この情報がプロセッサのストレージ (Secure Enclave) に暗号化して格納される。

出典: Apple  

顔認証精度が高い理由

Face IDを使うときは光源 (Flood Illuminator、上の写真左から二番目のデバイス) から赤外線が照射され、反射波を赤外線カメラで読み込み、登録した顔のマップと比較して認証を実行する。光源が赤外線であるため外部の光の条件に関わらず、暗がりの中でも正確に認証できる。また、髪を伸ばしたり眼鏡をかけると登録した顔のイメージと異なり本人確認が難しくなる。このためAppleは機械学習 (Machine Learning) の手法を使ってアルゴリズムを教育し両者を正確に比較判定できる技術を開発した。同時に、顔認証への攻撃では映画で登場するフェイスマスクが使われる。本人の顔を3Dでコピーしこれをフェイスマスクで再構築する。Appleは実際にハリウッドでフェイスマスクを作りFace IDの認証精度をベンチマークしたと述べている。この背後にも機械学習の手法が使われており人間の顔とフェイスマスクを見分けることができる。

顔写真から顔の仮想現実を生成

顔認証に関して気になる研究成果が報告されている。昨年、University of North Carolinaの研究者はFacebookやInstagramに掲載されている写真から顔を3Dで構築する手法を公開した (下の写真)。対象者の顔写真を複数枚集め、これらの写真から顔の構造を3Dで再構築する。3D構造に肌の色や質感を加え、更に、様々な表情を追加しVRとしてディスプレイに表示する。

出典: Yi Xu et al.

生成した顔のVRが顔認証を破る

研究論文は生成した顔のVRを顔認証システムに入力し認証に成功したと報告している。市販されている五つの顔認証アプリで試験が実施された。顔認証アプリ名と認証成功率は次の通り;KeyLemon (85%), Mobius (80%), True Key (70%), BioID (55%), 1U App (0%)。これらの顔認証アプリはスマホのセキュリティで使われており、1U Appを除いて四つのアプリで認証技術が破られた。この論文は顔認証のメカニズムを改善する必要があると訴えている。

顔の3Dイメージを3Dプリンターで生成

顔のVRはFace IDで試験されていないが、TrueDepth Cameraは顔を3Dで検知きるため、iPhone Xに不正にアクセスすることはできないと思われる。一方、顔のVRを3Dプリンターに出力すると状況は変わるかもしれない。顔の3Dイメージを3Dプリンターで生成して顔認証システムを試験する研究が進んでいる。Security Research Labsはドイツ・ベルリンに拠点を置く企業でセキュリティ研究所として位置づけられる。同社は被験者の顔型を取りMicrosoftの顔認証システム「Hello」で認証を受けることに成功した。iPhone Xが発売になるとSecurity Research Labs などがFace IDの安全性を検証する作業を始めることになる。

1枚の写真から顔を3Dで構成

英国の大学University of Nottingham とKingston Universityの研究者は1枚の顔写真からAIを使って顔を3Dで構成する技術を発表した。Computer Visionにとって顔を3Dで把握するのは非常に難しい技術となる。上述の通り、数多くの写真を入力しこれらから3Dイメージを再構築するのが一般的な手法となっている。これに対し、CNN (イメージを判定するネットワーク) を顔写真と本人の3Dイメージで教育することで、アルゴリズムは1枚の顔写真からその3Dイメージを再構築できるようになった。(下の写真、Alan Turingの写真 (左側) を入力するとアルゴリズムは3Dイメージ (右側) を生成する。) 研究成果を使って顔認証システムの試験が実施されたわけではないが、今後はAIを悪用した認証システムへの攻撃が急増することを示している。iPhone Xが発売になるとFace IDのハッキングレースが始まりAppleは様々な挑戦を受けることになる。

出典: Aaron S. Jackson et al.

バイオメトリック認証のトレンド

バイオメトリック認証の中で顔認証が注目されているのは訳がある。声による認証はコールセンターなどで使われているが複製されやすいとして普及は限定的である。一方、Amazon Echoなどは認証ではなく利用者を特定するために声を使っている。バイオメトリック認証の中で指紋認証が一番幅広く利用されているが小さなセンサーで指紋を正確に読む技術が難しい。更に、指紋は複製しやすく安全性に関する懸念もある。

Appleは虹彩認証に進むのか

虹彩認識 (Iris Recognition) は精度が高く注目されている方式であるがが赤外線センサーなど専用機器が必要となるため普及が進んでいない。但し、Samsung Galaxy Note 7やNote 8はこの機能を既に搭載しているが認証精度や安全性についてはまだ評価結果が固まっていない。一方、iPhone Xは既に赤外線センサーを搭載しており虹彩認証に進むのではと噂されている。

顔認証がバイオメトリック認証の中心となる

色々なバイオメトリック認証方式がある中、顔認証方式は精度が高く使い勝手がいいことから、今後はこの方式が大きく広がると見られている。3年から5年後には認証技術の半分以上が顔認証になるとの予測もある。Apple iPhone Xの出荷はまだ始まっていないが、Face IDが市場に与えた影響は大きく顔認証方式の動向に注視していく必要がある。

Apple iPhone Xは顔認証を導入し写真をドラマチックに仕上げる、AIチップで画像認識を強化

Appleは新本社で次世代ハイエンドモデル「iPhone X」を発表した。iPhone Xは顔認証方式「Face ID」を導入し、カメラに顔を向けるだけで認証ができる。顔認証は指紋認証より安全性が高く、Appleが導入したことで一気に普及が進む可能性を秘めている。

出典: Apple  

次世代モデル三機種を発表

AppleはiPhone次世代モデル三機種を発表した。最上位機種はiPhone X (上の写真、左端) で、デバイスの前面が全てディスプレイ (Super Retina HD Display) となりホームボタンが無くなった。iPhone 7の後継モデルとしてiPhone 8 (上の写真、右端) とiPhone 8 Plus (上の写真、中央) が発表された。三機種とも新型プロセッサ「A11 Bionic」を搭載しAIとグラフィック機能を強化している。

Face IDとは

iPhone Xは顔認証機能「Face ID」を備えており、デバイスのロックを解除するには顔をカメラにかざすだけ (下の写真)。顔がパスワードになりデバイスをオープンできる。また、Apple Payで支払いをする際も顔をカメラに向けるだけで認証が完了する。指をホームボタンに押し付ける操作は不要で、安全なだけでなく使いやすくなった。

出典: Apple  

顔認証のメカニズム

Face IDを使うためには事前に顔を登録する必要がある。システムの指示に従って顔をカメラに向け、ディスプレイに示された円に沿って顔を回す (下の写真)。iPhone Xは「TrueDepth Camera」と呼ばれる特殊なカメラを搭載している (先頭の写真左側、ディスプレイ最上部の黒いバーの部分)。顔を登録する時はTrueDepth Cameraのプロジェクター (Dot Projector) から3万個のドットが顔に照射され、これを赤外線カメラ (Infrared Camera) で読み込み顔の3Dマップを作成する。

出典: Apple  

この情報がプロセッサのストレージ (Secure Enclave) に暗号化して格納される。Face IDを使うときは光源 (Flood Illuminator) から赤外線が照射されこれを赤外線カメラで読み込み、登録した顔のマップと比較して認証を実行する。

利用者の風貌が変わると

顔認証では利用者の状態が変わるという課題を抱えている。髪を伸ばしたり眼鏡をかけると登録した顔のイメージと異なり本人確認が難しくなる。このためAppleは機械学習 (Machine Learning) の手法を使って両者のイメージを比較する方式を採用した。アルゴリズムは登録した顔が髪を伸ばし眼鏡をかけるとどう変化するかを機械学習の手法で学習する。様々な条件を事前に学習しておき利用者の外観が変わっても高精度に判定できる。また、顔を3Dで比較するので写真を使って不正に認証を受けることはできない。

カメラの特殊効果

TrueDepth Cameraは自撮り (Selfie) する際に特殊効果を出すために使われる。これは「Portrait Lighting」という機能でスタジオで撮影する時のように、あたかも光を調整したかのように特殊効果を出す。Natural Lightというオプションを選択すると自然光のもとで撮影したように写る (下の写真、左側)。Studio Lightを選択するとスタジオの明るい環境で撮影した効果が出る。Contour Lightは顔の凹凸を際立たせ (下の写真、中央) ドラマチックな仕上がりとなる。Stage Lightは背景を黒色にして顔を浮き上がらせる (下の写真、右側)。

出典: Apple  

カメラの性能はAIで決まる

TrueDepth Cameraはステレオカメラでオブジェクトを3Dで把握する。カメラが人物と背景を区別し、更に、AIが人物の顔を把握しここに光を当てて特殊効果を生み出す。メインカメラにもPortrait Lighting機能が搭載されており上述の機能を使うことができる。カメラは光学センサーが差別化の要因になっていたが、今ではキャプチャしたイメージをAIで如何に綺麗に処理できるかが問われている。iPhoneカメラはSoftware-Defined Cameraと呼ばれソフトウェアが機能を決定する。

絵文字を動画にしてメッセージを送る

TrueDepth Cameraを使うと絵文字の動画「Animoji」を生成して送信できる。カメラは顔の50のポイントの動きを把握し、これを絵文字キャラクターにマッピングする。笑顔を作るとキャラクターも笑顔になる (下の写真)。ビデオメッセージを作る要領で録画すると、キャラクターがその表情を作り出し音声と共にiMessageで相手に送信される。猫の他にブタやニワトリなど12のキャラクターが揃っている。

出典: Apple  

AIプロセッサ

これら機械学習や画像処理を支えているのがAIチップA11 Bionicだ。名前が示しているようにAI処理に特化したエンジン「Neural Engine」を搭載している。Neural Engineは機械学習処理専用のエンジンで人や物や場所などを高速で把握する機能を持つ。このエンジンがFace IDやAnimojiの処理を支えている。またAR (拡張現実) における画像処理もこのエンジンにより高速化されている。

価格と出荷時期 (米国)

ハイエンドのiPhone Xの価格は999ドルからで11月3日から出荷が始まる。また、iPhone 8 Plusの価格は799ドルからでiPhone 8は699ドルからとなっている。両モデルとも9月22日から出荷が始まる。

iPhone発売から10周年

発表イベントは新設されたApple本社 (下の写真、左奥) に隣接するSteve Jobs Theater (下の写真、中央) で開催された。イベントの模様はライブでストリーミングされた。これはSteve Jobsを記念して建設されたシアターで円形のアーキテクチャになっている。一階部分は円盤状のロビーで、シアターは地階部分に設けられている。今年はiPhone発売から10周年の区切りの年になり、これを象徴してiPhone X (10) が登場した。

出典: Apple