カテゴリー別アーカイブ: モバイル

Apple Cardを1か月使ってみた、アップルがデザインするとクレジットカードがこんなにも魅力的になる

Appleは2019年3月、自社ブランドのクレジットカード「Apple Card」を発表し、8月から運用を開始した。早速、Apple Cardを試してみたが、使い易さとお洒落なデザインに感銘を受けた。毎日使っているクレジットカードだが、単に支払いツールとしてとらえているだけで、特別な思い入れはない。しかし、Apple Cardはその常識を破り、インターフェイスが洗練され、カードに親近感を感じる。クレジットカードは無機質なプラスチックからインテリジェントなアプリに進化した。

出典: VentureClef

Apple Cardの概要

Apple CardはiPhoneのおサイフ「Wallet」に登録して利用する(上の写真左側)。既に、クレジットカードなどを登録して使っているが、ここにApple Cardが加わった。Apple Cardにタッチすると初期画面が表示され、ここに買い物のサマリーが示される(上の写真右側)。Apple Cardは物理的なカードも発行しており、これはチタン製のお洒落なカードで「Titanium Apple Card」と呼ばれる。表面は銀色でカード番号などは印字されておらず、安全性を重視したデザインとなっている(下の写真)。手に持つと、プラスチックのカードとは違い、ずっしりと重い。

出典: VentureClef

Apple Payから利用する

Apple Cardはモバイル決済「Apple Pay」で利用するのが基本パターン。Apple Payに対応している店舗やアプリで利用する。使い方は従来と同じで、サイドボタンをダブルクリックし、Face IDなどで認証し、デバイスをリーダにかざす(下の写真)。アプリ内決済では認証が完了すると決済プロセスが起動される。

出典: Apple

Titanium Apple Cardを使う

Apple Payを使えないケースではTitanium Apple Cardを使う。Apple CardはMastercardのネットワークを使い、カードを発行する銀行はGoldman Sachsとなる(下の写真、カード裏面)。Appleブランドのインパクトが強いが、Titanium Apple Cardを使うときはMastercardを取り扱っている店舗となる。通常のカードと同じく、Titanium Apple Cardをリーダーに差し込んで使う。

出典: VentureClef

オンラインショッピングでは

Apple Payを取り扱っていないオンラインショッピングでApple Cardを使うときは手間がかかる。Apple Cardのカード番号を決済サイトに入力する必要があるからだ。カード番号を見るには、Apple Cardを起動して(下の写真左側)、「Card Information」のページを開く。ここに表示されるカード番号、有効期限、PINを参照し、それらをオンラインサイトの決済画面に入力する(下の写真右側)。いつもは、クレジットカードに印字されているこれらの情報を入力するが、Titanium Apple Cardにはカード番号は印字されていないし、セキュリティの観点から、この番号はApple Cardの番号とは異なる構造を取る。Apple Cardの番号は「Card Number」と呼ばれ、オンラインショッピングではこの番号を使う。

出典: VentureClef

購買履歴のサマリー

Apple Cardで買い物をすると、購買履歴は綺麗に整理されて表示される(下の写真左側)。買い物の一覧表が企業ロゴと一緒に示され分かりやすい。買い物の内容を確認する際は各アイテムにタッチすると、店舗名やその場所が画面に示される(下の写真中央)。また、購買アイテムをカテゴリーごとに表示する機能もあり、週ごとに購買金額とそのカテゴリーがグラフで示される(下の写真右側)。カテゴリーは色分けされ、黄色はショッピング、緑色は旅行、青色は交通費、紫色はサービス、赤色は医療などとなる。

出典: VentureClef

キャッシュバック

Apple Cardの魅力は買い物をするとキャッシュバックを受け取れること(下の写真左側)。キャッシュバックは月ごとではなく、買い物をした日に受け取れる(下の写真右側)。キャッシュバックは「Apple Cash」に振り込まれ、送金や買い物で使うことができる。Apple製品を買うと購買金額の3%のキャッシュバックを受ける。また、Apple Payで買い物をすると購買金額の2%を、Titanium Apple Cardで買い物をしたら1%のキャッシュバックを受ける。

出典: VentureClef

Apple Cardの印象

既に、Apple Payで他社のクレジットカードを使っているが、これに比べてApple Cardは圧倒的に温かみのあるデザインで、機能的にも優れている。買い物履歴が分かりやすく表示され、出費を管理しやすい。また、Apple Cardはカテゴリーごとの支払いを反映し、表面が虹色に変化する(下の写真)。今月はショッピング(黄色)や交通(青色)やサービス(紫色)などに支出したことが視覚的に分かる。また、キャッシュバックがApple Cashに溜まっていくのが見え、買い物の特典が実感できる。一方、Apple CardはAppleデバイスでしか使えないので、最近は常にiPhoneを携帯している。いつの間にか、Appleのエコシステムにロックインされた感はぬぐえない。

出典: VentureClef

Appleのフィンテック戦略

Apple CardはApple Payで使うことを前提に設計されている。このため世界のiPhone利用者9億人が潜在顧客となる。Appleはこの巨大なネットワークでフィンテック事業を展開し、Apple Cardのトランザクション量に応じて手数料を徴収する。ブランドもMastercardではなくApple Cardで、カード会社とAppleの位置関係が分かる。これからのクレジットカード事業はデザインや機能性が重要になり、IT企業がそれをけん引する流れが鮮明になってきた。

キャッシュレス市場動向

Facebookは安全な暗号通貨「Libra」を開発しており、政府関係機関の承認を得てこの運用を始める。Amazonは独自のクレジットカードを発行し、オンラインサイトの顧客に提供すると噂されている。GoogleはApple Payに対抗するモバイル決済事業「Google Pay」を展開している。GAFAがペイメント事業で存在感を高めており、金融機関との競合が一段と厳しくなってきた。

Googleは発売前に次世代スマホ「Pixel 4」の概要を公表、レーダーを搭載しハンドジェスチャーで操作する

Googleは2019年7月、次世代スマホ「Pixel 4」の機能を公開した。Pixel 4は小型レーダーを搭載しハンドジェスチャーでデバイスを操作することができる(下の写真)。また、Pixel 4は初めて顔認証方式を採用し、顔をかざしてスマホをアンロックできる。Pixel 4は未発表製品であるが、写真などがリークしており、Googleは発表前にデバイスや機能を公開するという異例の措置を取った。

出典: Google

Motion Sense

Googleの先端技術開発プロジェクト「Advanced Technology and Projects 」は手の動きを感知するレーダー技術の開発を進めてきた。これは「Soli」と呼ばれ次期スマホPixel 4に搭載され(下の写真、Soli Radar Chip)、ハンドジェスチャーでデバイスを操作できる。レーダーはスマホ周辺の小さな動きを検知し、それをアルゴリズムで解析してハンドジェスチャーの意味を理解する。これにより、スマホに触らないでアプリを操作できる。また、Soliは利用者がスマホの近くにいることも検知する。

出典: Google

Motion Senseの活用方法

Motion Senseを使うとスマホの前で指や手を動かせてアプリを操作できる。音楽を聴いているときに手を振ると次の曲にスキップする。目覚まし時計が鳴っているときにスマホの上で手を振ると音が止む。電話がかかってきた時に手を振ると呼び出し音を止めることができる。この技術はスマホだけにとどまらず、今後はスマートウォッチやスマートホーム機器をハンドジェスチャーで操作することを計画している。

Face Unlock

GoogleはPixel 4に顔認識技術を取り入れ、顔をかざしてデバイスをアンロックする方式を採用することも明らかにした(上の写真、Face Unlockセンサーの配置)。これは「Face Unlock」と呼ばれ、スマホに顔を向けるだけでデバイスがアンロックされる(下の写真)。既にApple iPhoneで「Face ID」として使われているが、Face Unlockはこの機能を上回り使いやすくなった。

出典: Google

Face Unlockの使い方

Apple Face IDはiPhoneを取り上げ、それを顔の前にかざし、指で画面を下から上にスワイプしてデバイスをアンロックする。これに対し、Google Face Unlockは、Soliが利用者が近づいているのを検知し、Face Unlock機能を事前に起動する。顔がセンサーの視界に入り、アルゴリズムがこれを認証すると、Pixel 4が掴まれると同時にデバイスがアンロックされる。つまり、Pixel 4を持つだけでデバイスがアンロックされることになる。また、上下を逆に持ち上げられてもアルゴリズムは顔を認証できる。

セキュリティチップ

Face Unlock機能はPixel 4で稼働し、データは外部に出ることはなくデバイスに留まる。顔イメージなどの個人情報はデバイスに留まり、セキュリティやプライバシーに配慮した設計となっている。具体的には、顔を登録した際の情報は、Googleサーバに保管されることはなく、Pixel 4に搭載されるセキュリティチップ「Titan M」に格納される。Titan MはPixel 3から採用されデバイスの金庫として機能し、基本ソフトやアプリで扱うデータが安全に保管される。

Pixel 4の写真と名称

Googleは2019年6月、TwitterでPixel 4の写真を公開した(下の写真)。同時に、この製品は「Pixel 4」という名称であることも明らかにした。Pixel 4のカメラ仕様について様々な憶測が飛び交っていたが、これによりリアカメラは1台で箱型のケースに搭載されることが明らかになった。ネット上にはリークしたPixel 4の写真が掲載されており、Googleはこの発表でこれを追認したことになる。

出典: Google  

Soliとは

Soliは電磁波を使ったセンサーで、半導体チップから電磁波を発信し、オブジェクトで反射したシグナルをアンテナで計測する仕組みとなる。反射波のエネルギー、遅延時間、周波数シフトを計測し、それを解析することでオブジェクトの大きさ、形状、向き、材質、距離、速度を推定する。レーダーの解像度は低いが、手や指の動きを正確に把握できる。シグナルを時系列に分析する手法「Gesture Recognition Pipeline」を使い、アルゴリズム(AI)が特定の動作(ジェスチャー)をシグナルから特定する。レーダーはカメラなど他のセンサーと比べ細かな動きを把握できる特性を持ち、指先の小さな動きも正確に把握する。

出典: Google  

応用分野は幅広い

SoliはPixel 4に搭載されるが、幅広い製品に応用することを検討している。スマートウォッチに搭載すると、指を動かしアプリを操作できる。Google Mapsをスクロールするには、指でクラウンを回す動作をする(上の写真)。Soliのシグナルは服などを透過するため、ポケットやカバンにいれたスマホを指で操作できる。また、暗い場所でもジェスチャーで操作できる。Pixel 4は、言葉での指示に加え、ハンドジェスチャーでも操作できるようになる。

Googleはイメージ検索機能「Google Lens」をAIで大幅強化、スマホカメラがモノの名前を教えてくれる

Googleはイメージ検索機能「Google Lens」の最新版をリリースした。Google Lensはスマホカメラに写ったオブジェクトの名前を表示する。カメラ越しに花を見ると、Google Lensはその名前を教えてくれる (下の写真、左側)。お洒落なハンドバッグに視線を移すと、Google Lensはそれに似ている商品を示す (下の写真、右側)。カメラでイメージ検索をする技術は早くから登場しており、アイディアとしては目新しいものではない。しかし、Google Lensは高度なAIを実装し、イメージ検索機能と精度が大幅に強化され、使ってみると予想外に便利で、いまでは生活の必須アイテムとなった。

出典: VentureClef

スマホ向け拡張現実

Google Lensは2017年11月に登場し、2018年5月に機能が大幅に強化された。Google Lensの実態は拡張現実 (Augmented Reality) で、カメラが捉えたオブジェクトに情報を付加する構造となる。Google Lensはスマホ「Google Pixel 2」などに実装され、AIアシスタント「Google Assistant」と連携して稼働する。Google Lensを起動するには、Google Assistant画面でLensアイコンにタッチする。また、Google Lensはカメラアプリに組み込まれ、撮影画面からホームボタンを長押しして駆動することもできる。

名刺を住所録に登録

Google Lensはテキストを認識し、それを文字に変換し、それらの意味を理解する。名刺を読み込むと、そのまま住所録に登録できる (下の写真、左側)。名刺に記載されている電話番号を認識し、そのまま電話を発信できる。更に、住所を認識し、Google Mapsにリンクして、その場所までナビゲーションする。街中のポスターで気になるコンサートの案内があると、それをGoogle Lensで見ると、プログラムや連絡先を抽出する (下の写真、右側)。Google Lensは所謂OCR(光学文字認識)として機能するが、コンテンツの意味まで理解するので、その利用価値は高い。

出典: VentureClef


美術館の案内

Google Lensは絵画や彫刻など芸術作品を理解しその内容を解説する。美術館で音声ガイドを借りる代わりに、Google Lensが案内役を務める。Google Lens越しに絵画を見ると、作品の題名と概要を表示し、示されたリンクを辿ると作品の詳細を読むことができる。(下の写真、左側、この絵はセザンヌ作の「Chateau Noir」と表示)。撮影した写真を後日、Google Lensで見ると、同様な説明が表示される。(下の写真、右側、この彫像はロダン作の「Les Bourgeois de Calais」(カレーの市民)で、その概要が示される。) Google Lensの絵画に対する認識精度は極めて高く、美術鑑賞のスタイルが変わる。

出典: VentureClef


観光ガイド

Google Lensはランドマークを認識し観光ガイドとして利用できる。周囲のビルやモニュメントにカメラを向けると、Google Lensがそれらの名前を表示する。Google Lens越しにGoogle本社ビルを見ると「Googleplex (Googleキャンパス)」と表示され、リンク情報が提示される (下の写真、左側)。また、撮影した写真を後日、Google Lensで見ると、観光した場所の名前と概要を教えてくれる (下の写真、右側、スタンフォード大学内の「Memorial Church」とその概要を表示)。ただ、数多く存在するランドマークを認識するには高度な技術を要する。更に、見る角度や影の方向でイメージの判定が難しい。このため、Google Lensが認識できるランドマークの数は限られ、認識精度も完全ではなく、更なる技術改良が必要となる。

出典: VentureClef


植物図鑑

Google Lensを植物に向けるとその名前を教えてくれ、植物図鑑として使うことができる。カメラで白い花を見ると、Google Lensはこれは「Jasmine」(ジャスミン)と教えてくれる (下の写真、左側)。写真撮影した草花の種類をGoogle Lensで調べることができる。よく見かけるオレンジ色の花の写真をGoogle Lensで調べると、これは「California Poppy」(ハナビシソウ)であることが分かった。植物の判定は難しく高度なニューラルネットワークが必要であるが、Google Lensを花に向けると敏感に反応し正解率は悪くない。一方、樹木や木の葉にについてはアルゴリズムの教育ができていないのか、認識力が大きく落ちる。制限事項はあるものの、Google Lensで身の回りの植物の種類を知ることができ、コンピュータビジョンの進化を肌身で感じる。

出典: VentureClef


Smart Text Selection

Google Lensの機能が強化され、「Smart Text Selection」、「Style Match」、「Real-Time Results」が追加された。Smart Text Selectionは、Google Lensが認識したテキストの中から、特定部分を選択する機能。例えば、レストランメニューのなかから、気になる料理を選択すると、Google Lensはその内容を説明する。イタリア語で書かれていて読めない時は、Translateボタンにタッチすると翻訳してくれる (下の写真)。この料理はマグロのスライスにオレンジサラダが付いているのだと分かる。

出典: VentureClef


Style Match

Style Matchはファッションや家具などをアドバイスする機能。Google Lensでお洒落な洋服を見ると、その洋服と同じデザインの別の製品を表示する (下の写真、左側)。気に入ればそのまま購入できる。その他にGoogle Lensでシューズやバッグを見ると、同じ趣向の商品を表示する (下の写真、右側)。家の中では、Google Lensで家具を見ると、類似の商品を示す。Amazonなどショッピングサイトで同様な機能があるが、Google Lensはカメラで捉えたライブイメージが対象で、リアルタイムで画像解析を実行し、デザインが似ている商品を検索するので、高度な技術が必要となる。

出典: Vogue / VentureClef


Real-Time Results

このように、Google Lensの最大の特長は、リアルタイムでオブジェクトを把握できるようになったこと。カメラを通して周囲を見渡すと、Google Lensは写っているオブジェクトをリアルタイムで把握し、それに関連する情報を表示する (下の写真、画面上の白いドットはAIが解析している領域を示す)。Google Lensは連続してイメージ解析を実行する構造で、究極のコンピュータビジョンといえる。ただ、プロセッサへの負荷は高く、持っているスマホが熱くなり、20分程度でバッテリーがなくなる。

出典: VentureClef

システム概要

Google Lensは、エッジでAIによる画像解析を実行し、そのメタ情報をクラウドに送信し、バックエンドで検索プロセスを実行する構造となる。この際、スマホの限られた計算資源でニューラルネットワークを稼働させ画像解析を実行する。光の条件や撮影するアングルでイメージは大きく変わり、スマホでのオブジェクト認識は難しい。このプロセスでGoogleのAIプロセッサ「Pixel Visual Core」が使われる。一方、クラウド側のAI処理では「Cloud TPU」が使われる。Google Lensは、場所 (ランドマークなど)やモノ (植物、ファッション、家具、絵画など) のなかからオブジェクトをリアルタイムで特定する。

Googleの狙いは

Google Lensは拡張現実によるイメージ検索で、Googleのコア事業である検索サービスを強化した形となる。Googleは2010年に、イメージ検索スマホアプリ「Google Goggle」を投入し、このコンセプトを追求したが、幅広く普及することはなかった。Google Lensはこの後継モデルとなるが、高度なAIを実装し、検索精度が格段に向上した。Google Assistantは言葉による検索クエリーだけでなく、ビデオ画像による検索を実行することができ、検索の幅が大きく広がった。更に、Google Lensの機能強化とともに、このシステムはLGなど他社メーカーに公開され、イメージ検索クエリの件数が大きく増えることになる。

グーグルスマホ「Pixel 2」でAIチップが稼働、ARでスターウォーズをリアルに生成でき現実と仮想の境界が消滅

映画「スターウォーズ」がGoogleスマホ「Pixel 2」にやってきた。極めて精巧なキャラクターをビデオの中に取り込むことができる (下の写真)。街の中を銀河帝国軍の機動歩兵が歩き、上空をXウイング戦闘機が飛び交うビデオを撮影できる。今までのARとは比べ物にならない精度で、リアルなキャラクターがスマホで生成される。これを可能にしたのがスマホ向けAIプロセッサで、大規模な計算を瞬時にこなす。このプロセッサはAIエンジンとしても使われ、スマホはAIマシンであることが鮮明になった。

出典: Google

拡張現実アプリ

Googleは2017年12月、拡張現実アプリ「AR Stickers」を投入した。このアプリを使うと、ビデオや写真にオブジェクトやテキストをAR (Augmented Reality、拡張現実) として組み込むことができる。多くのスマホでARアプリを使えるが、AR Stickersの特長は高精度でARを実装していることだ。もはや現実と仮想の区別ができない。

銀河帝国軍の機動歩兵が動き出す

AR Stickersは様々なセットを提供しているが、一番人気は映画スターウォーズ最新作「Star Wars: The Last Jedi」のキャラクターである。このセットを選ぶと、映画に登場するキャラクターをビデオの中に取り込める。例えば、銀河帝国軍の機動歩兵「Stormtrooper」を選ぶと、ビデオの中に配置できる。撮影を始めるとビデオの中でStormtrooperが動き喋り出す(下の写真)。一人だけでなく複数のStormtrooperを配置でき、それぞれが独自に動く。これらの機動歩兵は極めてリアルに描写され、動きは滑らかで、現実のキャラクターと見分けがつかない。

出典: VentureClef

反乱同盟軍の戦闘機

反乱同盟軍の戦闘機「X-wing Fighter」を選ぶと、可変翼をX状に広げ空中をホバリングする。戦闘機は背景の明るさに調和し、地上にはその影を落とす。戦闘機を前から撮影するだけでなく、周囲をぐるっと一周して360度のアングルから撮影できる。戦闘機は背景に溶け込み、仮想イメージであるとは思えない。

出典: VentureClef

可愛いロボットBB-8

異なるキャラクターを組み合わせて使うこともできる。雪だるまのようなかわいいロボット「BB-8」を選ぶと、画面の中をころころと動き回る。ここにStormtrooperを加えると、二つのキャラクターがそれぞれ独自の動きをする。時に、二つのキャラクターが鉢合わせして、コミュニケーションが始まる (下の写真)。StormtrooperがBB-8に「向こうに行け」と指示しているようにも見える。

出典: VentureClef

宇宙戦闘機は極めてリアル

「TIE Fighter」を選ぶと、二つのイオンエンジン (Twin Ion Engines) で飛行する宇宙戦闘機が登場する。宇宙戦闘機はイオンエンジン特有の音を出して飛行し、時々レーザーキャノンで攻撃する。TIE Fighterに近寄ってアップで撮影すると、細部まで克明に描写されていることが分かる。機体についた傷や角の摩耗などが極めてリアルに描かれている (下の写真)。モックアップで撮影したとしか思えず、これが仮想のオブジェクトであるとは驚きだ。

出典: VentureClef

開発環境「ARCore」

これらはARアプリ開発プラットフォーム「ARCore」で開発された。GoogleはARCoreを公開しており、パートナー企業もこの環境でARアプリを作ることができる。ARCoreがサポートしているデバイスはGoogle Pixel、Google Pixel 2、及びSamsung Galaxy S8である。AR基礎技術はGoogleの特別プロジェクト「Tango」で開発された。今般、ARCoreが公開されたことで、Tangoはここに集約されることになる。

ARの仕組み

ARとは仮想コンテンツ (スターウォーズのキャラクターなど) を現実社会 (ビデオや写真) に組み込む技術を指し、ARCoreは三つのモジュールから構成される。「Motion Tracking」はARコンテンツの現実社会における位置を把握し、スマホでコンテンツをトラックする技術 (キャラクターの位置決め技術)。「Environmental Understanding」は現実社会でフラットな箇所を検知し、その場所と大きさを把握する技術 (平らな場所を検知する技術)。「Light Estimate」は現実社会における光の状態を把握する技術 (明るさを把握する技術)。

Motion Tracking

カメラが動くにつれ、ARCoreはConcurrent Odometry and Mapping (COM) というプロセスを実行し、カメラの位置関係を把握する。イメージの中の特徴的なポイント (Feature Point、下の写真で○印の個所) を把握し、それらがどのように変化するかをトラックし、空間の中でカメラの位置を把握する。ARCoreはこの動きとスマホの加速度計のデータを組み合わせ、カメラの位置とカメラの向き 「Pose」を把握する。GPSなどの位置情報が無くてもARCoreはピンポイントで位置を把握できる。

出典: Google  

Environmental Understanding

ARCoreは現実社会の中で平らな場所を検知する (下の写真でドットで示されたマトリックスの部分)。平らな場所とはFeature Pointが共通した水平面を持っているところで、これを「Planes」と呼ぶ。テーブルや床などの平らな部分がPlanesとなる。また、ARCoreはPlanesの境界を把握する。これらの情報がアプリに渡され、キャラクターが立つことのできる場所とその範囲を把握する。

出典: Google  

Light Estimate

ARCoreは現実社会の光の状態を把握する。具体的には、カメラで捉えたオブジェクトの平均的な光の強さを把握する。この情報をアプリに渡し、生成するオブジェクトをこれと同じ明るさにする (下の写真、明るい場所の猫は明るく描かれる)。これにより、生成したオブジェクトがリアルさを増し、背景のイメージに溶け込めるようになる。

出典: Google  

Anchors and Trackables

現実社会が理解できると、ARCoreはオブジェクトを生成しその中に置くこととなる。オブジェクトは現実社会に馴染み、自然な形で配置される。ARCoreは周囲の状況を把握しており、利用者はPosesを変えることができる。つまり、カメラを動かしオブジェクトの周囲を周回し、異なる方向から撮影できる。X-wingを周回し背後からも撮影できる (下の写真)。オブジェクトの周りを移動してもX-wingはホバリングを続け、アンカーで固定されているようにその場所に留まる。

出典: VentureClef

AI専用プロセッサ

高度なAR処理をPixel 2で実行できるのはAI専用プロセッサによる。Pixel 2は画像処理と機械学習のための専用プロセッサ「Pixel Visual Core」を搭載している。ARCoreはPixel Visual Coreで処理され、毎秒60フレームを生成し高精度な画像を創り出す。その結果、細部まで詳細に描かれたキャラクターが、画像処理の遅延時間はなくビデオの中を滑らかに動き、本物と見分けがつかなくなる。

ARアプリに先立ち、Pixel Visual Coreは写真撮影やAIで使われている。Pixel 2のカメラアプリは「HDR+」という機能を持ち、ダイナミックレンジの広い写真を撮影する。画像処理では大量の演算が発生するが、これらをPixel Visual Coreで高速実行する。

(下の写真、教会の中で薄暗い祭壇をHDR+で撮影すると、照明が当たっているように鮮明に描き出される。今まではHDR+処理に時間がかかり多くの電力を消費したが、Pixel Visual Coreでこの処理を瞬時に実行する。)

出典: VentureClef

画像処理と機械学習実行

Pixel Visual CoreはGoogleが設計したプロセッサでPixel 2のアクセラレータとして位置づけられる。Pixel 2のメインプロセッサはSnapdragon 835で、画像処理と機械学習実行がPixel Visual Coreにオフロードされる。開発環境としては、画像処理で「Halide」が、機械学習では「TensorFlow Lite」をサポートする。Pixel Visual CoreはAndroid 8.1 Oreoから使うことができる。つまり、Pixel 2にはPixel Visual Coreが搭載されているが、Android 8.1が公開された今月からこのプロセッサを使えるようになった。これに併せて、AR Stickersでスターウォーズのセットが提供された。

Neural Networks API

GoogleはAndroid 8.1で機械学習向けAPI「Neural Networks API」を公開した。エンジニアはこのAPIを使い機械学習機能をアプリに組み込むことができる (下のダイアグラム、Androidスマホやデバイス向けAI開発環境)。Neural Networks APIはPixel Visual Coreの他にGPUなどのプロセッサにも対応している。TensorFlow Liteは軽量のAI開発環境で、教育済みのAIアプリをスマホで実行 (Inference処理) するために使われる。パートナー企業もAndroid向けにAIアプリ開発ができ、スマホ上でリアルタイムに稼働するAIの登場が期待される。

出典: Google

少し危険な香りのするアプリ

GoogleはスターウォーズをモチーフにしたAR Stickersをテレビ放送でPRしており、全米で話題となっている。AR Stickersのインパクトは大きく、これ程リアルな仮想オブジェクトをスマホで生成できるとは驚きである。今まではプロの世界に限られていた特撮をPixel 2でできるようになった。ワクワクするアプリであるとともに、現実と虚構の世界の垣根がなくなり、少し危険な香りのするアプリでもある。

GoogleのAIスマホ「Pixel 2」は世界最高水準のカメラ、Deep Learningが鮮やかな画像を生成する

Googleは2017年10月4日、第二世代のAIスマホ「Pixel 2」(下の写真、左側) と「Pixel 2 XL」(下の写真、右側) を発表した。Pixel 2はカメラ性能が大きく進化し、ベンチマークで世界最高位をマークした。高い評価を受けた理由はDeep Learning技法の強化で、AIが高品質の画像を生成する。

出典: Google  

AIで構成されるスマートフォン

Pixel 2は音声アシスタント「Google Assistant」、ビジュアル検索機能「Google Lens」、及びイメージ生成技法「Computing Photography」とAI機能をフルに実装している。Pixel 2はイメージ生成機能が格段に強化され、世界最高のスマホカメラと評価されている。カメラの世界標準ベンチマーク「DxOMark」でPixel 2は98ポイントと評価されトップとなった。前モデルのPixelは89ポイントで、Pixel 2のカメラ性能が大きく向上したことが分かる。

人物写真専用モード「Portrait Mode」

Pixel 2は人物を撮影するための機能「Portrait Mode」を導入した。これは人物をシャープに、また、背景をぼかして撮影する機能である (下の写真)。一眼レフカメラでは望遠レンズの絞りを開き被写界深度を浅くして撮影する。Apple iPhone 8では搭載されている二つのカメラで被写体と背景を3Dで捉えてこれを表現する。これに対しPixel 2は一つのカメラでPortrait Modeの撮影ができる。撮影されたイメージをMachine Learningの手法で解析しPortrait Modeに変換する。

出典: Google  

特殊なセンサーを搭載

Pixel 2はメインカメラ (12.2MP, f/1.8) に「Dual-Pixel Sensor」という特殊なイメージセンサーを搭載している。撮影した写真はこのセンサーで二つに分解される。右と左の二つのカメラで撮影したように、二枚のイメージとして把握する。つまり、左右二台のカメラで撮影したように、イメージを3Dで捉えることができる。

Machine Learningの手法で画像を生成

次に、このイメージをDeep Learningの手法で解析し被写体と背景を明確に区分けする。アルゴリズムは百万枚の写真を使い教育され様々なシーンに対応できる。アルゴリズムは前面と背景を区別できるようになり、カメラは人物のパーツ部分をシャープにフォーカスし、それ以外の部分はボケ(Bokeh)の効果を与える。人物だけでなくモノに対してもPortrait Modeで撮影できる。このモードを使うとプロカメラマンのように被写体が背景に浮き上がる写真を取ることができる。

自撮りでも使える

Portrait Modeはフロントカメラ (8MP, f/2.4) でも使うことができる。フロントカメラはDual-Pixel Sensorを搭載していないがDeep Learningの手法でPortrait Modeを生成する。アルゴリズムは画像の中で顔を認識し、顔に繋がっている身体パーツや髪などを把握する。つまり、アルゴリズムが人物の形状を認識しそこにフォーカスを当てる。このため、自撮り (Selfie) でPortrait Modeを使うことができる (下の写真、左側)。もし画面に顔が映っていなければPortrait Modeはオフとなる。

出典: Google  

イメージを生成する機能「HDR+」

Pixel 2は暗い環境でも細部にわたり精密に表現できる (下の写真)。また、光のコントラストが厳しい状況でもバランスよくイメージを生成する。これは「HDR+」というイメージ合成手法により実現される。そもそも、HDR (High Dynamic Range) イメージングという手法は異なる露出の複数枚の写真を組み合わせて一枚の写真を生成する技術を指し、多くのスマホで幅広く使われている。これに対しHDR+は同じ露出の写真を多数枚組み合わせて一枚の写真を生成する手法である。

出典: Google  

Computation Photography

Pixel 2はカメラアプリを開いた時から撮影を始め、シャッターが押されたポイントを撮りたいシーンと理解する。HDR+は数多くの写真を重ねるが、同じ露出で撮影するので暗い部分はノイズが乗る。しかし、暗い部分の写真を数多く重ね合わせることで数学的にノイズを減らす。この手法により、光の条件が厳しいところでも綺麗な写真が撮れ、また、Portrait Modeでは肌が滑らかに仕上がる。HRD+はアルゴリズムがイメージを生成する方式で「Computation Photography」とも呼ばれる。カメラはAIを含むソフトウエアが機能や性能を決定する。

高度な手ぶれ補正機構

Pixel 2のメインカメラはビデオや写真撮影向けに高度な手ぶれ補正機構を搭載している。これは「EIS (electrical image stabilization) 」と「OIS (optical image stabilization)」とMachine Learningで構成される。EISはハードウェア機能でセンサーが画像のブレを補正する。OISはソフトウェア機能でフレームごとのブレをアルゴリズムが補正する。Pixel 2はOISをジャイロと連携し手の物理的な振動を検知する。これらの情報をMachine Learningで解析し安定したイメージを生成する。具体的にはMachine Learningは撮影した各フレームから主要な動き(例えばオートバイの動き)を検知し、これに沿って撮影したフレームからブレを補正する。

ビジュアル検索機能「Google Lens」

Pixel 2はビジュアル検索機能「Google Lens」を搭載した。Google Lensとはカメラが捉えたオブジェクトに関する情報を画面に表示する機能である。Google LensはMachine Vision (画像認識機能) とMachine LearningとKnowledge Graph (知識データベース) で構成される。名所旧跡や本や音楽アルバムや映画などの情報を表示することができる。例えば、建物をGoogle Lensで見るとこれは1236年に建立された東福寺であることが分かる (一つ上の写真、右側)。

AIカメラ「Google Clips」

Googleは小型軽量のカメラ「Google Clips」 (下の写真) を発表した。これはハンズフリーカメラでClipsが自動でビデオを撮影する。Clipsをテーブルの上に立てて置いたり、椅子に挟んで使う。Clipsは興味あるシーンを認識し自動でシャッターを切る。また、専用アプリで利用者がシャッターボタンを押して撮影することもできる。

出典: Google  

人物を識別する

Clipsはインテリジェントな機能を持ちAIが人物を識別する。このためClipsは親しい人物を中心に撮影する。また、Clipsは撮影のタイミングも自律的に判断する。被写体の動きが止まったタイミングを見て撮影を始める。また、被写体の一部が隠れているようなときは撮影しない。このため事前にClipsに家族関係者などを教えておく。また、Clipsを使うにつれ搭載されているMachine Learningは親しくしている人物を学びその人を中心に撮影するようになる。Clipsは屋内で家族やペットなどを撮影することを想定してデザインされている。

専用AIプロセッサを搭載

Clipsは専用AIプロセッサを内蔵している。このプロセッサはMovidius社の「Myriad 2」で、Computer Vision機能を司る。ここで人物の顔を認識しAI機能はデバイス上で実行される。この方式は「On-Device AI」と呼ばれる。クラウドと接続する必要はなく、顔情報をデバイスに格納し個人のプライバシーを守ることができる。

カメラとAIは相性がいい

Googleはハードウェア製品にAIをフルに実装し機能強化を推し進めている。Pixel 2ではAIがプロの写真家の役割を担い高品質なイメージを生成する。Clipsではもはや写真を撮影する行為は必要が無くAIが最適なシーンを撮影する。カメラはコンピュータとなり機能や特性はDeep Learningが決定する。カメラとAIは相性が良く技術革新が急速に進むことになる。