最新のビデオゲームを見るとシーンが余りにもリアルで写真と区別がつかない。精巧に描写されたビデオゲームを自動運転車開発に利用するアイディアが登場した。長い年月をかけ市街地で走行試験を重ねる代わりに、ビデオゲームに描かれる街中を走りAIアルゴリズムを開発する。

出典: Stephan R. Richter and Vibhav Vineet and Stefan Roth and Vladlen Koltun

インテル研究所などが開発

この技法を開発したのはIntel Labs (インテル研究所) とDarmstadt University (ダルムシュタット大学) で、ビデオゲームを使って自動運転車を教育する。この研究ではビデオゲーム「Grand Theft Auto」が使われた。これは三人組がクルマで市街地を走り犯罪を重ねるビデオゲームで、ここから抽出したフレームでアルゴリズムを教育する。上のグラフィックがその事例で、雨が降る市街地を描写しているが現実世界と区別がつかない。この成果は論文「Playing for Data: Ground Truth from Computer Games」として発表された。

Deep Learningが自動運転技術を支える

自動運転技術開発で成否のカギを握るのがクルマ周囲のオブジェクトを正確に把握する技法だ。自動運転車は搭載しているカメラで周囲を撮影し、そこに何が写っているかを判定する。カメラがクルマの眼となり、乗用車、バス、歩行者、自転車、信号機、歩道、道路などを認識する。AIの一技法であるDeep Learningが自動運転技術を支える。

オブジェクトを識別する方法

AIがビデオからオブジェクトを識別するには二つの手法がある。一つは「Object Detection」と呼ばれ、写真に写っているオブジェクトを箱で囲って示す。オブジェクトの位置と大きさを示すとともに、その区別を表示する。もう一つは「Semantic Segmentation」と呼ばれ、写真の中のオブジェクトをピクセルレベルで表示する。オブジェクトの区別は色分けして示される。

Semantic Segmentationの事例

下の写真がSemantic Segmentationの事例で、左側の写真を処理すると右の側のグラフィックスとなる。道路、自動車、歩行者、建物などのオブジェクトが色分けして示される。前者より高度な技術で、自動運転車は進行方向に何があるのかを理解でき、ナビゲーションの信頼度が大きく向上する。(下の事例はUniversity of Cambridgeの研究成果で、写真をアップロードするとその意味を色分けして表示する。)

出典: VentureClef / University of Cambridge

自動運転技術開発のプロセスと障害

自動運転車が走行する時には、カメラで撮影したイメージを車載システムに入力しリアルタイムで周囲のオブジェクトを把握する。クルマがこの判定をできるようになるためには、事前にアルゴリズムを教育しておく必要がある。教育のためには大量の写真が必要となり、自動運転車は街中を走り回り、走行の様子をビデオで撮影する。次に、撮影された写真に写っているオブジェクトを人間が手作業で名前付けをする。つまり、写真と名前付けされたグラフィックス (上の写真の関係) から成る基準データ (Ground Truth) を整備するという大作業が発生する。これが自動運転車開発で大きな障害となっている。

効率的に教育データを生成する手法

Intel Labsらはこの作業をビデオゲームで行うことで効率的にアルゴリズムを教育する手法を開発した。ビデオゲームから抽出したフレームでSemantic Segmentationする技法である。実際にこの技法を使ってSemantic Segmentation処理をしたものが下のグラフィックスである。入力したフレームは先頭の写真で、色がオブジェクトのクラスを示し、ピクセルレベルで処理されているのが分かる。道路は紫色、建物はレンガ色、空は灰色、乗用車は群青色、トラックは水色、バスは桃色などで示されている。クルマは目の前のオブジェクトの意味が分かり、安全に走行できる経路を見つけ出す。この技法では一枚のイメージを処理する時間は平均で7秒と極めて短いのが特長。

出典: Stephan R. Richter and Vibhav Vineet and Stefan Roth and Vladlen Koltun

ビデオゲームのフレームを大量に使う

この研究ではビデオゲームから25,000枚のフレームが抽出された (下の写真はその一部)。ビデオゲームはロスアンジェルスをモデルにしている。カリフォルニアの太陽が降り注ぐ昼間だけでなく、様々な気象条件のフレームが使われた。雨が降り注ぐ幹線道路や雨上がりの交差点のフレームが使われた。また、霧が立ち込めたシーンなども登場する。

想定しうるすべての環境を学習

幹線道路だけでなく、商店がひしめき合う路地裏の狭い道路のフレームも使われた。更に、一日のうち異なる時間帯のフレームが使われた。夜間にヘッドライトを点けたクルマが行きかうシーンや、夕方に空が赤く染まったフレームなどが使われた。自動運転車にとってはオブジェクトの識別が難しい条件である。人間は初めて走る道路でも運転できるが、アルゴリズムは想定しうるすべての環境を学習する必要がある。

人間との共同作業

システムはイメージをすべて区別できる訳ではない。Semantic Segmentationで色付けできるところと、できないところが混在する。このため専任スタッフがマニュアルで名前付けをする。システムは名前が付けられるとそれを学習し、次のフレームから自分で名前を付けることができるようになる。システムは学習を重ね、オブジェクトを判定し名前付けができるようになる。

ビデオゲームを使った教育技法に大きな期待

アルゴリズムをビデオゲームで教育できることが示された。ただ、ビデオゲームだけで教育するにはまだ制約もある。ビデオゲームのフレームだけでアルゴリズムを教育するとオブジェクトの認識率は43.6%とあまり高くない。そこで、実際に市街地を撮影した写真をミックスして教育すると認識率は65.2%と大きく向上した。写真だけで教育した方法の精度を上回り、ビデオゲームを使った教育技法に大きな期待が寄せられている。

出典: Stephan R. Richter and Vibhav Vineet and Stefan Roth and Vladlen Koltun

フレームだけでなく一連の動きを把握

論文は研究のロードマップについても言及している。今回の成果はビデオで捉えたイメージからオブジェクトを判別する技術「Class-Level Segmentation」を示している。次のステップではフレームを重ね、動画の中でオブジェクトを判定する。更に、オブジェクトの判定だけでなく一連の動きが持つ意味「Instance-Level Segmentation」を抽出する。つまり、路上で自転車を把握するだけでなく、ライダーが右腕を水平に上げると、それは右折するというサインであることを把握する。アルゴリズムは他車や人の行動の意味を理解できるようになる。

AIは犯罪行為を学習するのか

Grand Theft Autoという犯罪を繰り返すアクションゲームで運転技術を学習すると、自動運転車はこの環境にバイアスした認識能力を獲得すると懸念される。クルマが赤信号の交差点を猛スピード横切るシーンが頻繁に登場するが、違法行為をどうフィルタリングするかなどが課題となる。

高度に進化したビデオゲームを利用する

一方、Grand Theft Autoはゲーマーが街のシーンを自由に設定できる。気象条件や時間帯だけでなく、都市部、郊外部、工業地帯など、ゲーム環境を自由に設定できる。クルマが道にあふれるニューヨーク都市部や、霧が立ち込めて運転しにくいサンフランシスコなどを簡単に再現できる。雨が降る街での走行試験のためにKirkland (ワシントン州) に出向く必要はなくなる。高度に進化したビデオゲームが自動運転車のシミュレーション環境として注目されている。

配車サービス最大手Uberは2016年9月、米国・ピッツバーグで自動運転車による試験営業を開始した。Uberは自動運転技術の開発を始め1年半で実証実験にこぎつけた。自動運転技術開発レースが過熱しているが、出遅れていたUberはこの試験営業で存在感を示す形となった。Uberは自動運転技術がないとこの市場では生存できないとも述べている。

出典: Uber

Self-Driving Uber

自動走行するUberは「Self-Driving Uber」と呼ばれている (上の写真)。このクルマはPittsburg (ペンシルベニア州)で配車サービスを始め、誰でも利用することができる。乗客はいつものようにUber専用アプリでクルマを呼び目的地まで乗車する。ただ、Self-Driving Uberは試験運転ということで料金は無料となっている。

ドライバーが搭乗し自動運転をアシスト

Self-Driving Uberは自動走行するが、訓練を受けたドライバーが搭乗する。運転席に座り、システムが対応できない時はドライバーが運転を代わる。また、エンジニアが助手席に座りシステムの状態をラップトップでモニターする。ドライバーはステアリングに両手を構え、いつでも運転を代われる状態で運行する。ドライバーがステアリングを操作するか、また、ブレーキかアクセルを踏むとクルマは自動走行からマニュアルモードとなる。運転席の隣には赤色のボタンが設置され、これを押すと自動運転モードが解除されマニュアルモードとなる。

タブレットがインターフェイス

Self-Driving Uber車内は、無人で走行することを前提に、乗客とコミュニケーションするための仕組みが施されている。後部座席にはタブレットが備え付けられ、乗客とのインターフェイスとなる。乗客は搭乗して「Let’s Ride」ボタンにタッチするとクルマが発進する。画面で「Self-Driving ON」と表示され、自動運転モードで走行していることが分かる。走行中はモニターにクルマが認識する周囲のイメージが表示される。また、クルマが取るアクション (ステアリングやブレーク操作など) も示される。乗客はドライバーのいない車内で、クルマの動きを理解でき、安心して運転を任せることができる。

非常停止ボタンと車内カメラ

車内には非常停止ボタンが備え付けてある。乗客がこのボタンを押すと、クルマは停止する。乗客が問題を感じた時や緊急事態にこのボタンを押す。電車で見かける非常停止ボタンであるが、これがSelf-Driving Uberに設置されている。車内にはカメラが設置され、乗客の様子をビデオで撮影する。Uberはビデオを解析することで、自動運転に対する乗客の反応を理解する。米国では自動運転車を怖いと思っている人は少なくない。

搭乗者の自動運転技術に対する評価

搭乗者の多くはUberの自動運転技術は完成度が高く安心して搭乗できるとしている。一方、ドライバーが運転を代わるシーンも報告されている。まだ完全自動で走行することはできず、人間のアシストが必要となる。例えば、隣のクルマが急に方向を変えるなど、予定外の出来事に遭遇するとクルマは対応できない。この際にはドライバーが運転を代わる。また、クルマが駐車車両のすぐそばをかすめて走行したことなどが報告されている。

Pittsburgで試験する理由

UberはPittsburgで試験を実施する理由について述べている。ここは製鉄の街で「Steel City」とも呼ばれる。Pittsburgは橋が多く、道路は幅が狭く曲がっている (下の写真、橋は構造物が多く自動運転車にとって走るのが難しい場所)。気候はきびしく雨が多く、冬は雪が積もる。自動運転車にとってはチャレンジングな場所となる。ここで自動運転できれば、他の都市で問題なく走行できる。全米で一番難しい環境を選んで試験を展開している。

出典: Uber

自動運転車を開発する理由

Uberは自動運転車を開発する理由として、交通事故を大幅に少なくするためと述べている。現在、全世界で毎年130万人が交通事故で亡くなっている。また、街から駐車場を無くすことも重要な目的としている。全世界で10億台のクルマが走っており、都市の20%のスペースが駐車場として使われている。更に、Uberは世界の街で交通渋滞を緩和させることを目指している。Uberは全世界で営業しており、地球規模で問題解決に取り組んでいる。

ハイブリッドな配車サービス

Uberは自動運転車を使った配車ビジネスの概要を明らかにした。Uberは自動運転車だけでなく、ドライバーが運転する普通車両をミックスして配車サービスを展開する。自動運転技術が完成しても、ソフトウェアの制約から自動走行できない地域があると予想している。また、利用者の多くが自動運転車に対し抵抗感を持つことも予想される。このためにもドライバーが運転する安全性の高い運輸モードを提供する。Self-Driving Uberが営業を始めてもドライバーが不要になるわけではない。

多数のセンサーを搭載

Self-Driving Uberは屋根にラックを積み、ここに多数のセンサーを搭載している (下の写真)。試験車両はFord Fusionのハイブリッドモデルで、合計7基のLidar (レーザーレーダ) を搭載している。屋根の上にはハイエンドモデルを搭載し (下の写真、最上部の円柱)、このLidarが周囲の3Dモデルを生成する。車両の前後と、後部左右と、屋根の上の両側に普及モデルを搭載している。これらのLidarで車両周囲の完全なイメージを生成する。

出典: Uber

カメラ20台を使う

クルマには合計20台のカメラを搭載している。前部に7台、左右にそれぞれ4台、後部に2台のカメラを搭載。サイドミラーに下向けにカメラが搭載されている。この他にフロントグリルにカメラが搭載されている。屋根の最上部に搭載されているカメラが中心的な機能を担う。信号機の色などを識別する。その他のカメラはブレーキを踏んでいる車両や歩行者などの障害物を識別する。

レーダーや多くのアンテナを搭載

レーダーは二基搭載されクルマの周囲360度のイメージを把握する。Lidarとともにクルマの周囲の3Dマップを生成する。アンテナは異なるタイプのものが多数搭載され、データ通信やGPSによる位置計測で使われる。Uberは常に走行データを収集しそれをセンターに送信する。収集するビッグデータが自動運転技術開発で決定的に重要な役割を担う。多数のセンサーを搭載しているが、試験走行を繰り返し不要なものを特定する。最終製品では数少ないセンサーでコンパクトな構成になる。

米国消費者の反応

Self-Driving Uberが米国メディアで大きく取り上げられ、テレビニュースでは報道各社が時間を割いて放送した。Self-Driving Uberは一挙に知名度が上がり、無人タクシーの時代が到来したことを感じた。ただ、Self-Driving Uberが完全自動で走行できるまでには時間がかかり、ここからが長い道のりになる。

新しいモビリティ社会に向けて始動

Self-Driving Uberが米国社会に与えたインパクトは大きく、消費者が自動運転車を体験できる意義は大きい。米国ではこれが初めての試みとなり、消費者の観点から自動運転車を評価できるようになった。更に、消費者が自動運転車についての理解を深める切っ掛けになることが期待されている。これにより、社会の自動運転車に関する意識が向上し、道路交通法の整備が進むと思われる。また、自動車保険ポリシーの開発に弾みがつくとみられている。Self-Driving Uberの登場で米国は新しいモビリティ社会に向けて動き始めた。