Alphabet子会社であるWaymoとDeepMindは共同で、AIで自動運転アルゴリズムを生成する技法を開発した。自動運転車はニューラルネットワークで周囲のオブジェクトを把握し、その挙動を予想し、クルマの進行方向を決める。今までは、研究者がニューラルネットワークを開発してきたが、この技法を使うとAIがニューラルネットワークを生成する。AIがAIを生成する技法は既に登場しているが、これを自動運転車に適用したのはWaymoが初となる。

出典: Waymo

アルゴリズム教育

自動運転車はニューラルネットワークが安全性を決定する。Waymoは複数のニューラルネットワークを使い、センサーデータを解析し、車線や道路標識や歩行者や車両などを判定する(上の写真)。新しいデータを収集した時や、新しい場所で運転を開始する際は、ニューラルネットワークの再教育が必要となる。しかし、ニューラルネットワークを教育し、その精度を検証するには時間を要す(数週間かかるといわれている)。

ハイパーパラメータ最適化

アルゴリズム教育はニューラルネットワークのハイパーパラメータの最適化(Hyperparameter Optimization)に帰着する。ハイパーパラメータとはニューラルネットワークの基本形式で、学習速度(Learning Rate)、隠れ層(Hidden Layer)の数、CNNカーネル(Convolution Kernel)の大きさなどから構成される。ニューラルネットワークの教育を開始する前に、これらハイパーパラメータを決めておく。

AIで最適なハイパーパラメータを見つける

最適なハイパーパラメータを見つけるためには、異なる種類のハイパーパラメータを並列に稼働させ、それを検証して性能を比較する。この方式は「Random Search」と呼ばれ、AI(Deep Reinforcement Learning)の手法を使い、最適なハイパーパラメータを探す。Googleはこの方式を「AutoML」と呼び、クラウドで一般に提供している。WaymoはこのAutoMLを使い(下の写真、AutoML Architecture Searchの部分)、自動運転アルゴリズムの開発を始めた。

出典: Waymo

DeepMindが開発した新方式

DeepMindはAutoML方式を改良したシステム「Population Based Training　(PBT)」を開発した。Waymoは2019年7月、この方式で自動運転アルゴリズムを開発し、性能が大きく向上したことを明らかにした。PBTもRandom Searchでハイパーパラメータを探すが、ここにダーウィンの進化論(Theory of Evolution)を適用し、自然淘汰の方式で最適な解にたどり着く。複数のニューラルネットワークが性能を競い合い、勝ったものだけが生き残る方式を採用している。

Population Based Trainingとは

具体的には、複数のニューラルネットワークを並列で教育し、それらの性能を測定する。最高の性能を達成したニューラルネットワークが生き残り、それが子供ネットワーク「Progeny」を生み出す(下の写真、複数の子供ネットワークが教育されている概念図)。

出典: DeepMind

子供ネットワークは親ネットワークのコピーであるが、ハイパーパラメータの形が少しだけ変異(Mutate)している。自然界の摂理を参考に、ネットワークが子供に受け継がれたとき、その形を少し変異させる。生成された複数の子供ネットワークを教育し、そこからベストのものを選別し、このプロセスを繰り返す(下の写真：親ネットワークから子供ネットワークが生成される)。

出典: DeepMind

才能を見抜く技術

PBTは優秀な子供ネットワークにリソースを集中させ、人間に例えると英才教育を施す仕組みとなる。これがPBTの強みであるが弱点でもある。PBTは短期レンジで性能を判定するため、今は性能は出ないが将来開花する遅咲きのネットワークを見つけることができない。この問題に対応するため、PBTは多様性を増やすことで遅咲きのネットワークを育てた。具体的には、ニッチグループ(Sub-Population)を作り、この中でネットワークを開発した。ちょうどガラパゴス諸島で特異な機能を持つ生物が生まれるように、閉じられた環境でエリートを探した。

クルマに応用

PBTは野心的なコンセプトであるが、実際にそれをWaymo自動運転車に適用し、その効果が実証された。BPTはオブジェクトを判定するニューラルネットワーク(Region Proposal Network)に適用された。このアルゴリズムは周囲のオブジェクト(歩行者、自転車、バイクなど、下の写真右側)を判定し、それを四角の箱で囲って表示する(下の写真左側)。その結果、アルゴリズムの判定精度が向上し、遅延時間が短く(短時間で判定できるように)なった。更に、Waymoは複数のニューラルネットワークでこの処理を実施しているが、PBTにより一本のニューラルネットワークでこれをカバーできることが分かった。

出典: Waymo

判定精度が大幅に向上

PBTによりアルゴリズムの性能が大幅に向上したが、具体的には、PBTで生成したニューラルネットワークは従来の方式に比べ、従来と同じ再現率 (Recall、例えば周囲の自転車をもれなく検知する割合)で精度(Precision、例えば検知したオブジェクトを正しく自転車と判定する割合)が24%向上した。また、PBTは従来方式に比べ必要な計算機の量が半分となったとしている。

Googleのコア技術

Googleのコア技術はAIでこれをWaymoが採用することで自動運転アルゴリズムが大きく進化した。上述のAutoMLはGoogle Brain(AI研究所)で開発され、さらに高度なPBTはDeepMindが開発した。自動運転車はニューラルネットワークがその商品価値を決めるが、Googleのコア技術であるAIがWaymoの製品開発を後押ししている。