カテゴリー別アーカイブ: モバイル

Googleはスマホ最新モデル「Pixel 6」を発表、自社開発プロセッサ「Tensor SoC」を搭載し超高速AIマシンに進化

Googleは8月2日、スマホ最新モデル「Pixel 6」を発表した(下の写真)。Googleは独自でスマホ向けプロセッサ「Tensor SoC」開発した。名称が示している通り、これはAI処理に特化したプロセッサで、スマホはAIマシンに進化した。Googleはスマホ向けに様々なAIシステムを開発してきたがプロセッサ性能が限界に達し、今回、独自にプロセッサを開発し、性能を大幅にアップグレードした。

出典: Google

Pixel 6の概要

このシリーズは「Pixel 6」と「Pixel 6 Pro」の二つのモデルから成り、今年の秋から出荷が始まる。製品価格やハードウェア仕様など詳細情報は公表されていない。発表のポイントは高速AIプロセッサで、Googleはスマホの機能をAIで拡充する戦略を取る。これにより、AIがカメラの性能を大幅に機能アップする。また、AIがリアルタイムの通訳となり、異なる言語で会話できる。更に、最新の基本ソフト「Android 12」を搭載し、カラーデザインが洗練されユーザインターフェイスが大幅に改善された。

スマホ向けプロセッサ

Googleはスマホ向けのプロセッサ「Tensor SoC」(下の写真)を独自で開発した。SoCとは「System on a Chip」の略で基本ソフトを稼働させるメインのプロセッサとなる。今までGoogleは半導体企業QualcommからSoC (Snapdragon)を調達してきたが、Pixel 6向けにはこれを独自で開発した。Tensorという名称が示すように、AI処理に重点を置いたプロセッサ構成となる。一方、SoCを構成するユニットとして、CPU、GPU、5G Modemなどがあるが、Googleはこれらを独自で開発したのかどうかについては公表していない。(米国メディアはSoCのベースをSamsungからライセンスを受け、GoogleはAIプロセッサの部分を開発したと推測している。)

出典: Google  

カメラと画像処理

Googleはカメラで撮影したデータをAIで処理して写真やビデオを生成する手法を取る。これは「Computational Photography」と呼ばれ、カメラのセンサーが捉えたイメージをAIで解析しダイナミックレンジの広い画像「HDR」を生成する。また、暗闇の中でもフラッシュや三脚を使わないで鮮明な写真を生成する技術「Night Sight」を開発してきた。このプロセスで大規模なAI計算が発生し、これをTensor SoCが担う。また、Pixel 6ではカメラと関連センサーは本体に収まらず、帯状のデバイス「Camara Bar」に格納される(先頭の写真、黒色の長方形の部分)。

言語処理

AI機能のもう一つの柱は言語処理で言語モデルが言葉を理解してユーザとのインターフェイスとなる。「Google Assistant」が人間の秘書のように言葉を理解してタスクを実行する。また、AIアプリ「Recorder」は録音した言葉をテキストに変換する機能を持つ(下の写真)。会議での発言を録音し(左端)、Recorderがそれをテキストに変換し(中央)、議事録を作成する。後日、議事録を検索して特定の発言を見つけることができる(右端)。Pixel 6はこれをもう一歩すすめ、同時通訳機能が登場した。Pixel 6のTensor SoCで翻訳プロセスが実行され、クラウドを経ることなく、デバイス上でリアルタイムに実行される。

出典: Google  

Material You

Googleは開発者会議Google I/Oで基本ソフトの最新モデル「Android 12」と新たなデザインコンセプト「Material You」(下の写真)を発表した。Android 12はMaterial Youを搭載する最初の基本ソフトでPixel 6でこれを製品として提供する。Material Youは色をベースとしたシンプルなデザインで、機能性と個人の個性を追求したインターフェイスとなる。

出典: Google  

Material Youを使ってみると

既に、Android 12のベータ版が公開されており、Material Youを使うことができる(下の写真)。Material Youでは基本色調「Basic Color」を設定すると画面のコンポーネントがその色となる。例えば、基本色調をブルーに設定すると(左端)、画面のボタンやアイコンの色がブルーに (中央)なる。また、ブラウンに設定するとその色を基調としたデザインとなる(右端)。更に、Material Youではボタンの形状が丸みを帯び、サイズも大きくなり、優しいイメージに進化した。Pixel 4でAndroid 12のMaterial Youを使っているが、タッチしやすく温かみを感じるインターフェイスとなった。

   

出典: VentureClef  

スマホハイエンド市場への挑戦

Googleは2016年10月、Pixelを発表しスマホ事業に参入し、Pixel 6は第六世代のモデルとなる。Pixelシリーズは一貫してAIでスマホを構成する戦略を取り、Googleのコア技術である画像解析と言語モデルをスマホに応用してきた。Google PixelのカメラはAIで構成され、世界でトップレベルの高品質な画像を生成してきた。しかし、近年ではApple iPhoneの機能アップが著しく、Pixelはスマホ競争から取り残されている。Pixel 6はプロセッサを大幅にアップグレードし、再び、ハイエンド市場でシェア拡大を狙っている。

Apple Cardを1か月使ってみた、アップルがデザインするとクレジットカードがこんなにも魅力的になる

Appleは2019年3月、自社ブランドのクレジットカード「Apple Card」を発表し、8月から運用を開始した。早速、Apple Cardを試してみたが、使い易さとお洒落なデザインに感銘を受けた。毎日使っているクレジットカードだが、単に支払いツールとしてとらえているだけで、特別な思い入れはない。しかし、Apple Cardはその常識を破り、インターフェイスが洗練され、カードに親近感を感じる。クレジットカードは無機質なプラスチックからインテリジェントなアプリに進化した。

出典: VentureClef

Apple Cardの概要

Apple CardはiPhoneのおサイフ「Wallet」に登録して利用する(上の写真左側)。既に、クレジットカードなどを登録して使っているが、ここにApple Cardが加わった。Apple Cardにタッチすると初期画面が表示され、ここに買い物のサマリーが示される(上の写真右側)。Apple Cardは物理的なカードも発行しており、これはチタン製のお洒落なカードで「Titanium Apple Card」と呼ばれる。表面は銀色でカード番号などは印字されておらず、安全性を重視したデザインとなっている(下の写真)。手に持つと、プラスチックのカードとは違い、ずっしりと重い。

出典: VentureClef

Apple Payから利用する

Apple Cardはモバイル決済「Apple Pay」で利用するのが基本パターン。Apple Payに対応している店舗やアプリで利用する。使い方は従来と同じで、サイドボタンをダブルクリックし、Face IDなどで認証し、デバイスをリーダにかざす(下の写真)。アプリ内決済では認証が完了すると決済プロセスが起動される。

出典: Apple

Titanium Apple Cardを使う

Apple Payを使えないケースではTitanium Apple Cardを使う。Apple CardはMastercardのネットワークを使い、カードを発行する銀行はGoldman Sachsとなる(下の写真、カード裏面)。Appleブランドのインパクトが強いが、Titanium Apple Cardを使うときはMastercardを取り扱っている店舗となる。通常のカードと同じく、Titanium Apple Cardをリーダーに差し込んで使う。

出典: VentureClef

オンラインショッピングでは

Apple Payを取り扱っていないオンラインショッピングでApple Cardを使うときは手間がかかる。Apple Cardのカード番号を決済サイトに入力する必要があるからだ。カード番号を見るには、Apple Cardを起動して(下の写真左側)、「Card Information」のページを開く。ここに表示されるカード番号、有効期限、PINを参照し、それらをオンラインサイトの決済画面に入力する(下の写真右側)。いつもは、クレジットカードに印字されているこれらの情報を入力するが、Titanium Apple Cardにはカード番号は印字されていないし、セキュリティの観点から、この番号はApple Cardの番号とは異なる構造を取る。Apple Cardの番号は「Card Number」と呼ばれ、オンラインショッピングではこの番号を使う。

出典: VentureClef

購買履歴のサマリー

Apple Cardで買い物をすると、購買履歴は綺麗に整理されて表示される(下の写真左側)。買い物の一覧表が企業ロゴと一緒に示され分かりやすい。買い物の内容を確認する際は各アイテムにタッチすると、店舗名やその場所が画面に示される(下の写真中央)。また、購買アイテムをカテゴリーごとに表示する機能もあり、週ごとに購買金額とそのカテゴリーがグラフで示される(下の写真右側)。カテゴリーは色分けされ、黄色はショッピング、緑色は旅行、青色は交通費、紫色はサービス、赤色は医療などとなる。

出典: VentureClef

キャッシュバック

Apple Cardの魅力は買い物をするとキャッシュバックを受け取れること(下の写真左側)。キャッシュバックは月ごとではなく、買い物をした日に受け取れる(下の写真右側)。キャッシュバックは「Apple Cash」に振り込まれ、送金や買い物で使うことができる。Apple製品を買うと購買金額の3%のキャッシュバックを受ける。また、Apple Payで買い物をすると購買金額の2%を、Titanium Apple Cardで買い物をしたら1%のキャッシュバックを受ける。

出典: VentureClef

Apple Cardの印象

既に、Apple Payで他社のクレジットカードを使っているが、これに比べてApple Cardは圧倒的に温かみのあるデザインで、機能的にも優れている。買い物履歴が分かりやすく表示され、出費を管理しやすい。また、Apple Cardはカテゴリーごとの支払いを反映し、表面が虹色に変化する(下の写真)。今月はショッピング(黄色)や交通(青色)やサービス(紫色)などに支出したことが視覚的に分かる。また、キャッシュバックがApple Cashに溜まっていくのが見え、買い物の特典が実感できる。一方、Apple CardはAppleデバイスでしか使えないので、最近は常にiPhoneを携帯している。いつの間にか、Appleのエコシステムにロックインされた感はぬぐえない。

出典: VentureClef

Appleのフィンテック戦略

Apple CardはApple Payで使うことを前提に設計されている。このため世界のiPhone利用者9億人が潜在顧客となる。Appleはこの巨大なネットワークでフィンテック事業を展開し、Apple Cardのトランザクション量に応じて手数料を徴収する。ブランドもMastercardではなくApple Cardで、カード会社とAppleの位置関係が分かる。これからのクレジットカード事業はデザインや機能性が重要になり、IT企業がそれをけん引する流れが鮮明になってきた。

キャッシュレス市場動向

Facebookは安全な暗号通貨「Libra」を開発しており、政府関係機関の承認を得てこの運用を始める。Amazonは独自のクレジットカードを発行し、オンラインサイトの顧客に提供すると噂されている。GoogleはApple Payに対抗するモバイル決済事業「Google Pay」を展開している。GAFAがペイメント事業で存在感を高めており、金融機関との競合が一段と厳しくなってきた。

Googleは発売前に次世代スマホ「Pixel 4」の概要を公表、レーダーを搭載しハンドジェスチャーで操作する

Googleは2019年7月、次世代スマホ「Pixel 4」の機能を公開した。Pixel 4は小型レーダーを搭載しハンドジェスチャーでデバイスを操作することができる(下の写真)。また、Pixel 4は初めて顔認証方式を採用し、顔をかざしてスマホをアンロックできる。Pixel 4は未発表製品であるが、写真などがリークしており、Googleは発表前にデバイスや機能を公開するという異例の措置を取った。

出典: Google

Motion Sense

Googleの先端技術開発プロジェクト「Advanced Technology and Projects 」は手の動きを感知するレーダー技術の開発を進めてきた。これは「Soli」と呼ばれ次期スマホPixel 4に搭載され(下の写真、Soli Radar Chip)、ハンドジェスチャーでデバイスを操作できる。レーダーはスマホ周辺の小さな動きを検知し、それをアルゴリズムで解析してハンドジェスチャーの意味を理解する。これにより、スマホに触らないでアプリを操作できる。また、Soliは利用者がスマホの近くにいることも検知する。

出典: Google

Motion Senseの活用方法

Motion Senseを使うとスマホの前で指や手を動かせてアプリを操作できる。音楽を聴いているときに手を振ると次の曲にスキップする。目覚まし時計が鳴っているときにスマホの上で手を振ると音が止む。電話がかかってきた時に手を振ると呼び出し音を止めることができる。この技術はスマホだけにとどまらず、今後はスマートウォッチやスマートホーム機器をハンドジェスチャーで操作することを計画している。

Face Unlock

GoogleはPixel 4に顔認識技術を取り入れ、顔をかざしてデバイスをアンロックする方式を採用することも明らかにした(上の写真、Face Unlockセンサーの配置)。これは「Face Unlock」と呼ばれ、スマホに顔を向けるだけでデバイスがアンロックされる(下の写真)。既にApple iPhoneで「Face ID」として使われているが、Face Unlockはこの機能を上回り使いやすくなった。

出典: Google

Face Unlockの使い方

Apple Face IDはiPhoneを取り上げ、それを顔の前にかざし、指で画面を下から上にスワイプしてデバイスをアンロックする。これに対し、Google Face Unlockは、Soliが利用者が近づいているのを検知し、Face Unlock機能を事前に起動する。顔がセンサーの視界に入り、アルゴリズムがこれを認証すると、Pixel 4が掴まれると同時にデバイスがアンロックされる。つまり、Pixel 4を持つだけでデバイスがアンロックされることになる。また、上下を逆に持ち上げられてもアルゴリズムは顔を認証できる。

セキュリティチップ

Face Unlock機能はPixel 4で稼働し、データは外部に出ることはなくデバイスに留まる。顔イメージなどの個人情報はデバイスに留まり、セキュリティやプライバシーに配慮した設計となっている。具体的には、顔を登録した際の情報は、Googleサーバに保管されることはなく、Pixel 4に搭載されるセキュリティチップ「Titan M」に格納される。Titan MはPixel 3から採用されデバイスの金庫として機能し、基本ソフトやアプリで扱うデータが安全に保管される。

Pixel 4の写真と名称

Googleは2019年6月、TwitterでPixel 4の写真を公開した(下の写真)。同時に、この製品は「Pixel 4」という名称であることも明らかにした。Pixel 4のカメラ仕様について様々な憶測が飛び交っていたが、これによりリアカメラは1台で箱型のケースに搭載されることが明らかになった。ネット上にはリークしたPixel 4の写真が掲載されており、Googleはこの発表でこれを追認したことになる。

出典: Google  

Soliとは

Soliは電磁波を使ったセンサーで、半導体チップから電磁波を発信し、オブジェクトで反射したシグナルをアンテナで計測する仕組みとなる。反射波のエネルギー、遅延時間、周波数シフトを計測し、それを解析することでオブジェクトの大きさ、形状、向き、材質、距離、速度を推定する。レーダーの解像度は低いが、手や指の動きを正確に把握できる。シグナルを時系列に分析する手法「Gesture Recognition Pipeline」を使い、アルゴリズム(AI)が特定の動作(ジェスチャー)をシグナルから特定する。レーダーはカメラなど他のセンサーと比べ細かな動きを把握できる特性を持ち、指先の小さな動きも正確に把握する。

出典: Google  

応用分野は幅広い

SoliはPixel 4に搭載されるが、幅広い製品に応用することを検討している。スマートウォッチに搭載すると、指を動かしアプリを操作できる。Google Mapsをスクロールするには、指でクラウンを回す動作をする(上の写真)。Soliのシグナルは服などを透過するため、ポケットやカバンにいれたスマホを指で操作できる。また、暗い場所でもジェスチャーで操作できる。Pixel 4は、言葉での指示に加え、ハンドジェスチャーでも操作できるようになる。

Googleはイメージ検索機能「Google Lens」をAIで大幅強化、スマホカメラがモノの名前を教えてくれる

Googleはイメージ検索機能「Google Lens」の最新版をリリースした。Google Lensはスマホカメラに写ったオブジェクトの名前を表示する。カメラ越しに花を見ると、Google Lensはその名前を教えてくれる (下の写真、左側)。お洒落なハンドバッグに視線を移すと、Google Lensはそれに似ている商品を示す (下の写真、右側)。カメラでイメージ検索をする技術は早くから登場しており、アイディアとしては目新しいものではない。しかし、Google Lensは高度なAIを実装し、イメージ検索機能と精度が大幅に強化され、使ってみると予想外に便利で、いまでは生活の必須アイテムとなった。

出典: VentureClef

スマホ向け拡張現実

Google Lensは2017年11月に登場し、2018年5月に機能が大幅に強化された。Google Lensの実態は拡張現実 (Augmented Reality) で、カメラが捉えたオブジェクトに情報を付加する構造となる。Google Lensはスマホ「Google Pixel 2」などに実装され、AIアシスタント「Google Assistant」と連携して稼働する。Google Lensを起動するには、Google Assistant画面でLensアイコンにタッチする。また、Google Lensはカメラアプリに組み込まれ、撮影画面からホームボタンを長押しして駆動することもできる。

名刺を住所録に登録

Google Lensはテキストを認識し、それを文字に変換し、それらの意味を理解する。名刺を読み込むと、そのまま住所録に登録できる (下の写真、左側)。名刺に記載されている電話番号を認識し、そのまま電話を発信できる。更に、住所を認識し、Google Mapsにリンクして、その場所までナビゲーションする。街中のポスターで気になるコンサートの案内があると、それをGoogle Lensで見ると、プログラムや連絡先を抽出する (下の写真、右側)。Google Lensは所謂OCR(光学文字認識)として機能するが、コンテンツの意味まで理解するので、その利用価値は高い。

出典: VentureClef


美術館の案内

Google Lensは絵画や彫刻など芸術作品を理解しその内容を解説する。美術館で音声ガイドを借りる代わりに、Google Lensが案内役を務める。Google Lens越しに絵画を見ると、作品の題名と概要を表示し、示されたリンクを辿ると作品の詳細を読むことができる。(下の写真、左側、この絵はセザンヌ作の「Chateau Noir」と表示)。撮影した写真を後日、Google Lensで見ると、同様な説明が表示される。(下の写真、右側、この彫像はロダン作の「Les Bourgeois de Calais」(カレーの市民)で、その概要が示される。) Google Lensの絵画に対する認識精度は極めて高く、美術鑑賞のスタイルが変わる。

出典: VentureClef


観光ガイド

Google Lensはランドマークを認識し観光ガイドとして利用できる。周囲のビルやモニュメントにカメラを向けると、Google Lensがそれらの名前を表示する。Google Lens越しにGoogle本社ビルを見ると「Googleplex (Googleキャンパス)」と表示され、リンク情報が提示される (下の写真、左側)。また、撮影した写真を後日、Google Lensで見ると、観光した場所の名前と概要を教えてくれる (下の写真、右側、スタンフォード大学内の「Memorial Church」とその概要を表示)。ただ、数多く存在するランドマークを認識するには高度な技術を要する。更に、見る角度や影の方向でイメージの判定が難しい。このため、Google Lensが認識できるランドマークの数は限られ、認識精度も完全ではなく、更なる技術改良が必要となる。

出典: VentureClef


植物図鑑

Google Lensを植物に向けるとその名前を教えてくれ、植物図鑑として使うことができる。カメラで白い花を見ると、Google Lensはこれは「Jasmine」(ジャスミン)と教えてくれる (下の写真、左側)。写真撮影した草花の種類をGoogle Lensで調べることができる。よく見かけるオレンジ色の花の写真をGoogle Lensで調べると、これは「California Poppy」(ハナビシソウ)であることが分かった。植物の判定は難しく高度なニューラルネットワークが必要であるが、Google Lensを花に向けると敏感に反応し正解率は悪くない。一方、樹木や木の葉にについてはアルゴリズムの教育ができていないのか、認識力が大きく落ちる。制限事項はあるものの、Google Lensで身の回りの植物の種類を知ることができ、コンピュータビジョンの進化を肌身で感じる。

出典: VentureClef


Smart Text Selection

Google Lensの機能が強化され、「Smart Text Selection」、「Style Match」、「Real-Time Results」が追加された。Smart Text Selectionは、Google Lensが認識したテキストの中から、特定部分を選択する機能。例えば、レストランメニューのなかから、気になる料理を選択すると、Google Lensはその内容を説明する。イタリア語で書かれていて読めない時は、Translateボタンにタッチすると翻訳してくれる (下の写真)。この料理はマグロのスライスにオレンジサラダが付いているのだと分かる。

出典: VentureClef


Style Match

Style Matchはファッションや家具などをアドバイスする機能。Google Lensでお洒落な洋服を見ると、その洋服と同じデザインの別の製品を表示する (下の写真、左側)。気に入ればそのまま購入できる。その他にGoogle Lensでシューズやバッグを見ると、同じ趣向の商品を表示する (下の写真、右側)。家の中では、Google Lensで家具を見ると、類似の商品を示す。Amazonなどショッピングサイトで同様な機能があるが、Google Lensはカメラで捉えたライブイメージが対象で、リアルタイムで画像解析を実行し、デザインが似ている商品を検索するので、高度な技術が必要となる。

出典: Vogue / VentureClef


Real-Time Results

このように、Google Lensの最大の特長は、リアルタイムでオブジェクトを把握できるようになったこと。カメラを通して周囲を見渡すと、Google Lensは写っているオブジェクトをリアルタイムで把握し、それに関連する情報を表示する (下の写真、画面上の白いドットはAIが解析している領域を示す)。Google Lensは連続してイメージ解析を実行する構造で、究極のコンピュータビジョンといえる。ただ、プロセッサへの負荷は高く、持っているスマホが熱くなり、20分程度でバッテリーがなくなる。

出典: VentureClef

システム概要

Google Lensは、エッジでAIによる画像解析を実行し、そのメタ情報をクラウドに送信し、バックエンドで検索プロセスを実行する構造となる。この際、スマホの限られた計算資源でニューラルネットワークを稼働させ画像解析を実行する。光の条件や撮影するアングルでイメージは大きく変わり、スマホでのオブジェクト認識は難しい。このプロセスでGoogleのAIプロセッサ「Pixel Visual Core」が使われる。一方、クラウド側のAI処理では「Cloud TPU」が使われる。Google Lensは、場所 (ランドマークなど)やモノ (植物、ファッション、家具、絵画など) のなかからオブジェクトをリアルタイムで特定する。

Googleの狙いは

Google Lensは拡張現実によるイメージ検索で、Googleのコア事業である検索サービスを強化した形となる。Googleは2010年に、イメージ検索スマホアプリ「Google Goggle」を投入し、このコンセプトを追求したが、幅広く普及することはなかった。Google Lensはこの後継モデルとなるが、高度なAIを実装し、検索精度が格段に向上した。Google Assistantは言葉による検索クエリーだけでなく、ビデオ画像による検索を実行することができ、検索の幅が大きく広がった。更に、Google Lensの機能強化とともに、このシステムはLGなど他社メーカーに公開され、イメージ検索クエリの件数が大きく増えることになる。

グーグルスマホ「Pixel 2」でAIチップが稼働、ARでスターウォーズをリアルに生成でき現実と仮想の境界が消滅

映画「スターウォーズ」がGoogleスマホ「Pixel 2」にやってきた。極めて精巧なキャラクターをビデオの中に取り込むことができる (下の写真)。街の中を銀河帝国軍の機動歩兵が歩き、上空をXウイング戦闘機が飛び交うビデオを撮影できる。今までのARとは比べ物にならない精度で、リアルなキャラクターがスマホで生成される。これを可能にしたのがスマホ向けAIプロセッサで、大規模な計算を瞬時にこなす。このプロセッサはAIエンジンとしても使われ、スマホはAIマシンであることが鮮明になった。

出典: Google

拡張現実アプリ

Googleは2017年12月、拡張現実アプリ「AR Stickers」を投入した。このアプリを使うと、ビデオや写真にオブジェクトやテキストをAR (Augmented Reality、拡張現実) として組み込むことができる。多くのスマホでARアプリを使えるが、AR Stickersの特長は高精度でARを実装していることだ。もはや現実と仮想の区別ができない。

銀河帝国軍の機動歩兵が動き出す

AR Stickersは様々なセットを提供しているが、一番人気は映画スターウォーズ最新作「Star Wars: The Last Jedi」のキャラクターである。このセットを選ぶと、映画に登場するキャラクターをビデオの中に取り込める。例えば、銀河帝国軍の機動歩兵「Stormtrooper」を選ぶと、ビデオの中に配置できる。撮影を始めるとビデオの中でStormtrooperが動き喋り出す(下の写真)。一人だけでなく複数のStormtrooperを配置でき、それぞれが独自に動く。これらの機動歩兵は極めてリアルに描写され、動きは滑らかで、現実のキャラクターと見分けがつかない。

出典: VentureClef

反乱同盟軍の戦闘機

反乱同盟軍の戦闘機「X-wing Fighter」を選ぶと、可変翼をX状に広げ空中をホバリングする。戦闘機は背景の明るさに調和し、地上にはその影を落とす。戦闘機を前から撮影するだけでなく、周囲をぐるっと一周して360度のアングルから撮影できる。戦闘機は背景に溶け込み、仮想イメージであるとは思えない。

出典: VentureClef

可愛いロボットBB-8

異なるキャラクターを組み合わせて使うこともできる。雪だるまのようなかわいいロボット「BB-8」を選ぶと、画面の中をころころと動き回る。ここにStormtrooperを加えると、二つのキャラクターがそれぞれ独自の動きをする。時に、二つのキャラクターが鉢合わせして、コミュニケーションが始まる (下の写真)。StormtrooperがBB-8に「向こうに行け」と指示しているようにも見える。

出典: VentureClef

宇宙戦闘機は極めてリアル

「TIE Fighter」を選ぶと、二つのイオンエンジン (Twin Ion Engines) で飛行する宇宙戦闘機が登場する。宇宙戦闘機はイオンエンジン特有の音を出して飛行し、時々レーザーキャノンで攻撃する。TIE Fighterに近寄ってアップで撮影すると、細部まで克明に描写されていることが分かる。機体についた傷や角の摩耗などが極めてリアルに描かれている (下の写真)。モックアップで撮影したとしか思えず、これが仮想のオブジェクトであるとは驚きだ。

出典: VentureClef

開発環境「ARCore」

これらはARアプリ開発プラットフォーム「ARCore」で開発された。GoogleはARCoreを公開しており、パートナー企業もこの環境でARアプリを作ることができる。ARCoreがサポートしているデバイスはGoogle Pixel、Google Pixel 2、及びSamsung Galaxy S8である。AR基礎技術はGoogleの特別プロジェクト「Tango」で開発された。今般、ARCoreが公開されたことで、Tangoはここに集約されることになる。

ARの仕組み

ARとは仮想コンテンツ (スターウォーズのキャラクターなど) を現実社会 (ビデオや写真) に組み込む技術を指し、ARCoreは三つのモジュールから構成される。「Motion Tracking」はARコンテンツの現実社会における位置を把握し、スマホでコンテンツをトラックする技術 (キャラクターの位置決め技術)。「Environmental Understanding」は現実社会でフラットな箇所を検知し、その場所と大きさを把握する技術 (平らな場所を検知する技術)。「Light Estimate」は現実社会における光の状態を把握する技術 (明るさを把握する技術)。

Motion Tracking

カメラが動くにつれ、ARCoreはConcurrent Odometry and Mapping (COM) というプロセスを実行し、カメラの位置関係を把握する。イメージの中の特徴的なポイント (Feature Point、下の写真で○印の個所) を把握し、それらがどのように変化するかをトラックし、空間の中でカメラの位置を把握する。ARCoreはこの動きとスマホの加速度計のデータを組み合わせ、カメラの位置とカメラの向き 「Pose」を把握する。GPSなどの位置情報が無くてもARCoreはピンポイントで位置を把握できる。

出典: Google  

Environmental Understanding

ARCoreは現実社会の中で平らな場所を検知する (下の写真でドットで示されたマトリックスの部分)。平らな場所とはFeature Pointが共通した水平面を持っているところで、これを「Planes」と呼ぶ。テーブルや床などの平らな部分がPlanesとなる。また、ARCoreはPlanesの境界を把握する。これらの情報がアプリに渡され、キャラクターが立つことのできる場所とその範囲を把握する。

出典: Google  

Light Estimate

ARCoreは現実社会の光の状態を把握する。具体的には、カメラで捉えたオブジェクトの平均的な光の強さを把握する。この情報をアプリに渡し、生成するオブジェクトをこれと同じ明るさにする (下の写真、明るい場所の猫は明るく描かれる)。これにより、生成したオブジェクトがリアルさを増し、背景のイメージに溶け込めるようになる。

出典: Google  

Anchors and Trackables

現実社会が理解できると、ARCoreはオブジェクトを生成しその中に置くこととなる。オブジェクトは現実社会に馴染み、自然な形で配置される。ARCoreは周囲の状況を把握しており、利用者はPosesを変えることができる。つまり、カメラを動かしオブジェクトの周囲を周回し、異なる方向から撮影できる。X-wingを周回し背後からも撮影できる (下の写真)。オブジェクトの周りを移動してもX-wingはホバリングを続け、アンカーで固定されているようにその場所に留まる。

出典: VentureClef

AI専用プロセッサ

高度なAR処理をPixel 2で実行できるのはAI専用プロセッサによる。Pixel 2は画像処理と機械学習のための専用プロセッサ「Pixel Visual Core」を搭載している。ARCoreはPixel Visual Coreで処理され、毎秒60フレームを生成し高精度な画像を創り出す。その結果、細部まで詳細に描かれたキャラクターが、画像処理の遅延時間はなくビデオの中を滑らかに動き、本物と見分けがつかなくなる。

ARアプリに先立ち、Pixel Visual Coreは写真撮影やAIで使われている。Pixel 2のカメラアプリは「HDR+」という機能を持ち、ダイナミックレンジの広い写真を撮影する。画像処理では大量の演算が発生するが、これらをPixel Visual Coreで高速実行する。

(下の写真、教会の中で薄暗い祭壇をHDR+で撮影すると、照明が当たっているように鮮明に描き出される。今まではHDR+処理に時間がかかり多くの電力を消費したが、Pixel Visual Coreでこの処理を瞬時に実行する。)

出典: VentureClef

画像処理と機械学習実行

Pixel Visual CoreはGoogleが設計したプロセッサでPixel 2のアクセラレータとして位置づけられる。Pixel 2のメインプロセッサはSnapdragon 835で、画像処理と機械学習実行がPixel Visual Coreにオフロードされる。開発環境としては、画像処理で「Halide」が、機械学習では「TensorFlow Lite」をサポートする。Pixel Visual CoreはAndroid 8.1 Oreoから使うことができる。つまり、Pixel 2にはPixel Visual Coreが搭載されているが、Android 8.1が公開された今月からこのプロセッサを使えるようになった。これに併せて、AR Stickersでスターウォーズのセットが提供された。

Neural Networks API

GoogleはAndroid 8.1で機械学習向けAPI「Neural Networks API」を公開した。エンジニアはこのAPIを使い機械学習機能をアプリに組み込むことができる (下のダイアグラム、Androidスマホやデバイス向けAI開発環境)。Neural Networks APIはPixel Visual Coreの他にGPUなどのプロセッサにも対応している。TensorFlow Liteは軽量のAI開発環境で、教育済みのAIアプリをスマホで実行 (Inference処理) するために使われる。パートナー企業もAndroid向けにAIアプリ開発ができ、スマホ上でリアルタイムに稼働するAIの登場が期待される。

出典: Google

少し危険な香りのするアプリ

GoogleはスターウォーズをモチーフにしたAR Stickersをテレビ放送でPRしており、全米で話題となっている。AR Stickersのインパクトは大きく、これ程リアルな仮想オブジェクトをスマホで生成できるとは驚きである。今まではプロの世界に限られていた特撮をPixel 2でできるようになった。ワクワクするアプリであるとともに、現実と虚構の世界の垣根がなくなり、少し危険な香りのするアプリでもある。