カテゴリー別アーカイブ: 自動運転車

Waymoは自動運転車のカメラで撮影したイメージをAIで繋ぎ合わせサンフランシスコのデジタルツインを生成

Waymoはサンフランシスコ市街地の3DモデルをAIで生成した。Waymoはサンフランシスコで自動運転車の試験走行を展開しており、クルマのカメラで撮影した写真をAIで繋ぎ合わせ、市街地の3Dマップを生成した。Google Street Viewを立体化した形状で、サンフランシスコのデジタルツインとなる。この中を自由自在に移動でき、自動運転車やロボットの開発において、アルゴリズムのシミュレーションで使われる。

出典: Waymo

写真を繋げ3Dモデルを生成

このAIは「Block-NeRF (Neural Radiance Fields)」と呼ばれ、自動運転車で撮影した写真を繋ぎ合わせ、3Dマップを生成する機能を持つ。上の写真は「グレース大聖堂(Grace Cathedral)」の前を走行しているところで、クルマの車窓から見るように風景が流れていく。ビデオ撮影した景色とは異なり、Block-NeRFで生成したモデルは、カメラのアングルを変えるなど、画像を自由に編集できる。(ビデオへのリンク。)

Dモデルの機能

Waymoはサンフランシスコのアラモ地区(Alamo Square、下の写真左側)で撮影した写真280万枚をBlock-NeRFで繋ぎ合わせて3Dモデル(下の写真右側)を生成した。生成されたモデルは、視点を変えて360度の方向から見ることができる。また、3Dモデルは一塊のデータではなく、撮影されたオブジェクトを自由に編集できる。具体的には、道路や歩道にクルマや歩行者が写っているが、Block-NeRFでこれらを消し去ることができる(下の写真右側、クルマや歩行者写っていない)。また、モデルの環境を設定することもでき、晴れの日の午後などのイメージを生成できる。

出典: Matthew Tancik et al.

NeRFとは

NeRFとは、カメラで撮影した写真をAIで繋ぎ合わせ、3Dモデルを生成する手法を指す。この技法はUC BerkeleyとGoogle Researchのチームが開発した(下の写真、ドラムセットの3Dモデルを生成)。オブジェクトを周囲から撮影し、その写真をNeRFで繋ぎ合わせて3Dモデルを生成する。簡単に立体モデルを生成でき、それを柔軟に操作できるため、この技法が注目されている。

出典: B. Mildenhall, P. P. Srinivasan, M. Tancik et al.

Block-NeRFとは

NeRFは身の回りのもの(ドラムセットなど)や人物など、比較的小さな形状のオブジェクトが対象となる。これに対し、Block-NeRFは市街地のように、大規模な3Dモデルを構築できることが特徴となる。Block-NeRFは複数のNeRFを組み合わせて最終モデルを生成する。実際には、市街地を区画し、それぞれの区画でNeRFで3Dモデルを生成する。各区画で生成した3Dモデルを結合し、市街地全体の3Dモデルを生成する手順となる(下の写真左側、オレンジ色のドットが各区画で使われたNeRFを示す)。NeRFは形状(Visibility)と色彩(Color)で構成され、これを機見合わせ3Dマップを生成する。街中の景観が変わると、その部分のNeRFだけを再教育し、3Dマップを更新する(下の写真右側、上段の景観が下段に変わったケース)。市街地全体のアルゴリズムを再教育する必要はなく、効率的にモデルをアップデートできる。

出典: Matthew Tancik et al.

Block-NeRFの利用方法

生成された3Dモデルは自動運転車やロボットの開発で使われる。自動運転車はLidarやカメラで撮影したイメージから、現在地をピンポイントで特定する。これはLocalizationと呼ばれる処理で、このプロセスをBlock-NeRFで生成した3Dマップで実行する。また、自動運転車の運行を検証するため、シミュレーション環境を制作するために使われる。サンフランシスコのデジタルツインを生成し、ここで自動運転車を走行させ安全性を検証する。

メタバースへの応用

Block-NeRFで生成したモデルは、道路の走行だけでなく、上空を飛行することもできる。例えば、世界一曲がりくねった坂道「ロンバード・ストリート(Lombard Street)」の上を飛行することもできる。(ビデオへのリンク。) Waymoはコメントしていないが、都市のデジタルツインを生成し、これをメタバースの仮想社会として利用することもできる。

出典: Waymo

Waymoの走行試験

Waymoはサンフランシスコで試験走行を進めている(下の写真)。住民が被験者となり、Waymoに搭乗し、安全性の検証が行われている。先月からは、Waymoはセーフティドライバーが搭乗しない無人車両で試験走行を開始した。このケースではWaymo社員が被験者となり、無人車両に搭乗し、安全性の確認が続いている。Waymoはサンフランシスコで6か月間、試験走行を実行してきたが、無人車両での試験走行が商用化に向けた最後のステップとなる。

出典: Waymo

自動運転ロボット「Nuro」がシリコンバレーで営業運転を開始、実際に使ってみたが自動運転車が注文した商品を玄関先まで配送

自動運転ロボット「Nuro」がシリコンバレーで営業運転を開始した。Nuroはトヨタ・プリウスをベースとした自動運転車で、注文した商品を玄関先まで配送する。今はセーフティドライバーが搭乗しているが、将来は、無人車両が商品を配送する。コロナの感染拡大で、Eコマースによる宅配事業が急拡大しており、自動運転ロボットへの期待が高まっている。

出典: Nuro

セブンイレブンと提携

Nuroはコンビニ「セブンイレブン」と提携し、カリフォルニア州マウンテンビュー市で宅配サービスを開始した。オンラインで購入した商品を、トヨタ・プリウスをベースとした自動運転ロボットが、消費者宅まで配送する(上の写真)。Nuroはドライバーの介在なく自動で走行する。Nuroは、専用車両「R2」を開発しており(上の写真左端の車両)、次のステップは、ロボットが無人で商品を宅配する。

実際に使ってみると

早速、Nuroによる配送を試してみたが、全てのプロセスがスムーズに動いた。セブンイレブンで商品を購入するために、専用アプリ「7NOW」を使った(下の写真)。ショッピング画面(左側)で宅配を選択し、希望する商品を購入した(中央)。支払い処理が終わると、店舗側で商品をNuroに積み込む作業が始まる。その後、Nuroがセブンイレブンを出発し、目的地に向かった。Nuroの位置はマップに表示され、運行状態を確認できた(右側)。

出典: VentureClef

Nuroが無事に到着

Nuroは、自宅前に停止し(下の写真)、配送スタッフが購入した商品を玄関先まで届けてくれた。Nuroには、セーフティドライバーが搭乗しており、クルマを安全に運行する。スタッフに話を聞いてみると、Nuroは殆どの区間を自動で走行するが、時々、セーフティドライバーがステアリングを操作するとのこと。(実際、Nuroは玄関前を通り越し、隣の家で停車したため、セーフティドライバーがマニュアル操作で、Uターンして自宅前にクルマを移動した。)

出典: VentureClef

カリフォルニア州の認可

Nuroは、営業運転を開始するにあたり、カリフォルニア州の陸運局 (Department of Motor Vehicles)から、公道を無人走行するための認可を受けた。走行できる地域が指定されており、Nuroはサンタクララ群とサンマテオ群で営業運転を展開できる。また、走行できる道路も規定され、定められたルートを安全に走行する。事実、営業運転は、サンタクララ群のマウンテンビュー市で開始された。(下の写真、試験走行中のNuro)

出典: VentureClef

次のステップ

Nuroは自動運転ロボット「R2」を開発している(下の写真)。R2はレベル5の自動運転車で、ロボットが無人で、商品を消費者宅に配送する。消費者は、ウェブサイトで商品を購入すると、R2がこれを配送する。R2は玄関先に停車し、消費者は貨物ベイのハッチを開けて商品を取り出す仕組みとなる。現在は、食料品の配送が中心であるが、将来は、医薬品の配送も計画されている。

出典: Nuro

ロボット宅配需要が高騰

新型コロナの変異株「Omicron」の感染が広がり、パンデミックの終息が見通せなくなり、宅配サービスの需要が急騰している。レストランの出前サービスの他に、食料品の配送ビジネスが拡大している。小売店舗側はNuroと提携し、ロボットによる宅配サービスを進めている。セブンイレブンの他に、スーパーマーケット「Kroger」やドラッグストア「CVS」がNuroによる宅配サービスを展開している。これらの需要に応えるため、Nuroは技術開発を加速している。

Waymoはサンフランシスコで住民を乗せて走行試験を開始、自動運転車が高齢者の日常生活を支援できるかを検証

Waymoは今週、サンフランシスコで住民を乗せて自動運転車の走行試験を開始することを発表した。これは「Waymo One Trusted Tester Program」と呼ばれ、自動運転車に関する住民の意見を把握することを目的とする。特に、自動運転車が高齢者や非健常者の日常生活を支援できるかを検証することがプログラムの中心となる。

出典: Waymo

住民を乗せて走行試験

この実証試験はWaymoの自動運転車最新モデル「Jaguar I-PACE」で実施される(上の写真)。クルマは自動運転技術「Waymo Driver」の最新版「5th Generation」を搭載している。Waymoはアリゾナ州フェニックスで営業運転を展開しているが、サンフランシスコでは2021年2月から社員が乗客となり試験走行を進めている。道路が整備されたフェニックスとは異なり、サンフランシスコでは市街地の込み合った道を安全に走行する技術が求められる。

検証のポイント

クルマには専任スタッフ「Autonomous Specialist」が搭乗して試験走行が実施される。このプログラムは自動運転車が住民の生活に如何に役立つかを検証する。サンフランシスコはバスや路面電車の他に、UberやLyftなどライドシェアサービスが充実している。この環境でWaymoの特性を把握し如何に差別化を図るかが問われる。Waymoは高齢者や非健常者の足となることを想定しており、車いすや杖を使って生活する住人が自動運転車をどう評価するのかを解析する(下の写真)。また市当局と共同で、Waymoが公共交通機関と連携して住民が移動しやすくする仕組みを構築する。

出典: Waymo

サンフランシスコでの世論調査

Waymoはこれに先立ちサンフランシスコで自動運転車に関する住民の世論調査を実施した。地域住民にクルマの運転や生活における移動方法などを訪ねたもので、地域の特性が明らかになった。サンフランシスコにおける運転で困ることのトップは駐車場が少ないことで、また、公共交通機関がスケジュール通り運行していないことも課題となる。また、サンフランシスコは高齢者や非健常者が多いことも特徴で(下のグラフ)、94,000人が移動手段で問題を抱えている。

出典: Waymo

試験走行エリア

Waymoは試験走行エリアを示していないが、米国メディアはサンフランシスコのダウンタウンを除く部分としている。ユニオンスクエアを中心とするダウンタウンはオフィスビルが立ち並びビジネス街や観光地となっている。Waymoは、この地域は走行せず、住民が住んでいるサンフランシスコ西部と南部を中心に試験する。因みに、曲がりくねったロンバード・ストリート(Lombard Street)は試験エリアに含まれていない。

Waymo Drive最新モデル

WaymoはセンサーとしてLidar、カメラ、レーダーを搭載し(下の写真)、これをソフトウェアで解析し自動で走行する。Waymo Driveの最新モデル5th Generationではセンサーの機能やパッケージングが改良された。レーダーは「Imaging Radar System」と呼ばれ、カメラのように高解像度でオブジェクトを把握することができる。また、Lidarやカメラは構造がシンプルになり製造コストを半分にすることに成功した。これから自動運転技術が本格的に製造されるが、Waymo Driveの量産体制が整った。

出典: Waymo  

高齢化社会と自動運転車

サンフランシスコは全米の中で自動運転車にとって最も高度な技術を必要とする都市となる。ここで安全に走行できれば他の都市でも運行できることになる。このため、Waymoの他に、GM/CruiseやAmazon/Zooxがサンフランシスコで自動運転車の開発を進めている。自動運転車の出荷を目前に控え、Waymoは高齢者や非健常者の足として生活を支えるクルマとして商品化している。日本を含め世界で高齢化が進む中で自動運転車の役割が重要になってきた。

Teslaは世界最高速のAIプロセッサを発表、自動運転車開発でメーカーがAIスパコンを開発し垂直統合が進む

TeslaはAIイベント「AI Day」で自動運転車開発の最新状況を公開した。自動運転の中核技術は高度なコンピュータビジョンで、これを開発するためにはAIスパコンが必要となる。TeslaはAIプロセッサを開発し、これをベースに独自のAIスパコンを構築した。更に、自動運転技術をロボットに応用したヒューマノイドを開発することを明らかにした。

出典: Tesla

発表概要

Teslaの自動運転技術は「Full Self-Driving(FSD)」(上の写真)と呼ばれ、他社とは異なり、カメラだけでクルマが自律走行する。AIはカメラの映像を解析し周囲のオブジェクトを把握するが、ニューラルネットワークの規模が巨大になり、また、アルゴリズムを教育するために大量のデータを必要とする。このため、Teslaは独自でAIプロセッサ「D1 Chip」を開発し、アルゴリズム教育を超高速で実行する。自動車メーカーがスパコン開発まで手掛け、自動運転車で垂直統合が進む。

AI専用スパコン

TeslaはAI専用プロセッサD1をベースとするAIスパコン「ExaPOD」を開発した(下の写真)。このシステムはアルゴリズムの教育などで使われ、一般に「Dojo Supercomputer」と呼ばれる。現在は、GPUをベースとするAIスパコンを運用しているが、これを独自半導体D1 Chipで構成する。最大性能は1.1 ExaFlopsで、世界で第五位の処理能力を持つスパコンとなる。Teslaは既に、独自技術で車載プロセッサ「FDS Chip」を開発しており、クルマでアルゴリズムを実行するために使われている。今回発表のD1 Chipは超高速のプロセッサで、ExaPODでアルゴリズム教育などで使われる。

出典: Tesla

AIプロセッサ

AIプロセッサD1 Chipは354の計算ユニット(Training Node)から成るプロセッサで、最大性能は362 TeraFlopsとなる(下の写真)。計算ユニットはマトリックス計算とベクトル計算機構を備え、ニューラルネットワークの教育に最適のアーキテクチャとなる。従来は、Nvidia GPUを使っていたが、TeslaはAI処理に特化したD1 Chipを独自に開発した。

出典: Tesla  

AIプロセッサの性能比較

D1 Chipの特徴は他のチップと高速でデータ通信できることで、このクラスで最大の能力を持つ。D1 Chipはデバイスの周囲に通信機構(I/O Ring)を搭載し、他のチップとデータを送受信する。D1 Chipの通信性能が高いため、数多くのチップと連結でき、スパコン大規模なスパコンの開発可能となる。(下のグラフはAIチップの処理性能を示している。横軸が演算性能で縦軸が通信速度。GoogleのTPUやGPUに比べ通信性能が高いことが分かる。)

出典: Tesla  

ボードの構造

D1 Chipはボード「Training Tile」(下の写真)に搭載される。ボードには25個のD1 Chipが搭載され、他のボードと高速でデータ通信する。更に、このボード6枚をラックに搭載し、これを24ユニット使い、AIスパコン「ExaPOD」が構成される。つまり、ExaPODは3000個のD1 Chipを搭載し、最大性能は1.1 ExaFlopsとなる。

出典: Tesla  

コンセプト

TeslaはLidarを使わないでカメラだけで自動運転できる技術を開発している。カメラの映像をAIで解析することでクルマが自動走行する。コンピュータビジョンが視覚となり、クルマは動物のように、周りの状況を判断して安全なルートを走行する。クルマは8台のカメラを搭載し、これをAIで解析して周囲のオブジェクトを把握する。

出典: Tesla

自動運転AIの構造

上のグラフィックスはAIのアーキテクチャを示している。それぞれのカメラの映像をCNNで解析し特徴量を把握する(下段の部分)。これをTransformerで融合し、周囲を見渡せる3Dモデルを生成する。3Dモデルはベクトル空間(Vector Space)として構成され、クルマは周囲の状況を3Dで把握するだけでなく、その意味を理解する。更に、AIは過去のオブジェクトを“記憶”する機能を持ち、視界が遮られても周囲の状況を把握できる。(下のグラフィックス、ピックアップトラックがクルマの視界を遮ってもRNNは背後に二台のクルマがいることを覚えている(赤丸で囲った部分)。)

出典: Tesla

スパコンが必要な理由

Teslaが開発しているAIモデルは巨大で、更に、このニューラルネットワークを大量のデータで教育する必要がある。ニューラルネットワークのパラメータの数は数億個といわれ、自動運転車の開発は巨大AI開発でもある。Teslaは市販車両のカメラで撮影した映像をクラウドに集約しており、これが教育データとして使われる。大量の教育データを保有していることがTeslaの強みとなる。巨大なニューラルネットワークを大量のデータで教育するためにはAIスパコンが必須となる。

ロボット開発を開始

イベントの最後にMuskはヒューマノイドロボット「Tesla Bot」(下の写真)を開発することを明らかにした。自動運転車のカメラやAIをロボットに適用することでヒューマノイドを開発し、来年、プロトタイプの完成を目指す。ロボットは繰り返し作業など人間が嫌がるタスクを実行し、買い物に行くなどの利用法が示された。ただ、実際にロボットが完成するかどうかについて、Muskは難しいとの見解を示している。つまり、ロボット開発はMusk流のマーケティング手法で、市場の注目を集め、優秀なエンジニアを雇い入れることが目的との解釈もある。

出典: Tesla

Autopilotの事故が続く

Teslaは運転支援技術「Autopilot」で事故が続き、その対応に苦慮している。Autopilotで自動走行中に停車中の緊急車両に衝突する事故が11件続き、連邦政府(National Highway Transportation and Safety Administration)は調査を開始した。事故は夜間に発生しており、コンピュータビジョンの精度が調査の対象となる。AutopilotのAIに疑問が呈された形となり、Teslaはカメラだけで安全に走行できることを早期に実証する必要性に迫られている。

テスラは自動運転ベータ版の出荷を開始、クルマは市街地でドライバーの介在無しに自動で走行!!

テスラは自動運転ソフトウェアのベータ版のリリースを開始した。これは「Full Self-Driving(FSD)」と呼ばれ、クルマは市街地で自動で走行する。ついに、自動運転車が市場に投入された。ただ、このソフトウェアはベータ版で、最終製品が出荷されるのは2021年末となる。これに向けてAI開発が急ピッチで進んでおり、テスラはAI学会でコンピュータビジョンの開発状況を明らかにした。

出典: Tesla

自動運転技術の開発経緯

テスラの自動運転ソフトウェアFull Self-Driving(FSD)はAIで構成され、クルマにダウンロードすることで自動運転車となる。テスラは2020年10月にベータ版「FSD Beta」を公開し、先行ユーザが試験走行を進めてきた。テスラはこれを改良し、今週、最新版「FSD v9 Beta」のリリースを開始した。FSD v9 Betaは自動運転機能で、市街地をドライバーの介在無しに自動で走行する。FSD v9 Betaの最大の特徴は、LidarやRadarを使わないで、カメラの映像だけで自動走行できることにある。もはや、Radarも不要で、テスラ最新モデルはRadarの搭載を止め、カメラだけが実装され、センサーの構成がシンプルになった。

Full Self-Drivingとは

Full Self-Driving(FSD)とはAIで構成されたコンピュータビジョンで自動運転車の中核機能となる。カメラで捉えたビデオ画像をAIが解析し、オブジェクトの種類、オブジェクトまでの距離、及び、オブジェクトの移動速度を把握する。テスラはこのAIを「General Computer Vision」と呼び、屋外で汎用的に使えるコンピュータビジョンとしている。クルマは霧の中や雪道を走るが、General Computer Visionは視界が悪い環境も正しくオブジェクトを判定できる。(下の写真、試験走行中のFull Self-Driving)

出典: Andrej Karpathy

コンピュータビジョン学会

テスラのAI開発責任者であるAndrei Karpathyは、コンピュータビジョン学会「Conference on Computer Vision and Pattern Recognition(CVPR)」でテスラのAI開発状況を説明した。テスラの自動運転ソフトウェアFSD Betaは2000人が利用しており、170万マイルを無事故で走行した。更に、上述の通り、最新版FSD v9 Betaが公開され、学会ではこのモデルについてシステム概要が公開された。

テスラの開発戦略

テスラのターゲットはカメラだけで自動走行できるAIの開発にあり、Karpathyはそのための開発手法を明らかにした。Waymoはアリゾナ州で自動運転タクシーを運行しているが、カメラの他にLidarやRadarを使い、異なる種類のセンサーで周囲のオブジェクトを判定する。一方、テスラはLidarやRadarを使わないで、カメラだけで自動運転技術を開発する。極めて高度なコンピュータビジョンを必要とし、テスラはAIに会社の将来を託す形となった。

カメラの構造

クルマは前後左右に8台のカメラを搭載し、これらのビデオ映像をAIで解析し、周囲のオブジェクトを把握する(下の写真)。AIは8つのビデオ映像から周囲を3Dで把握して、オブジェクトの種類や距離や速度を把握する。

出典: Andrej Karpathy  

アルゴリズムの開発手法

テスラは高度なコンピュータビジョンを開発するために、ニューラルネットワークを大量のデータで教育する戦略を取る。クルマが走行中に遭遇する全ての状況を収集し、このデータを使ってニューラルネットワークを教育すると、自動走行できるポイントに到達すると考える。このため、テスラは大規模な教育データセットを構築した。このデータセットには100万のビデオが格納され、そこに映っているオブジェクトの数は60億で、それらにはタグが付加されている。

タグ付けとは

タグ付けとはビデオに映っているオブジェクトの属性を添付するプロセスを指す。教育データ開発では、カメラに映ったオブジェクトに(下の写真上段)、その属性を付加する作業が必要になる。通常、オブジェクトを四角の箱で囲い、その種別を付加する(下段)。タグ付け作業は専門会社に依頼するが、テスラの場合はオブジェクトの数が膨大で、人間がマニュアルで作業することはできない。このため、テスラはタグ付けを行うAIを開発し、これをスパコンで稼働させ大量のデータを処理する。スパコンがビデオを読み込み、そこに映っているオブジェクトの種類を判定し、自動で名前を付加する。

出典: Andrej Karpathy  

世界最大規模のスパコン

このプロセスは大規模な計算環境を必要歳、テスラはスパコンを独自に開発し、AIによるタグ付け処理を実行する(下の写真)。処理能力は1.8 exaFLOPSで世界のスパコンの中で第五位の性能となる(下の写真左側、プロセッサ部分)。プロセッサはNvidia A100をベースに760ノードで構成され、5760のGPUで構成される。また、メモリ容量は10 PBでネットワーク通信速度は640 Tbpsとなる(下の写真右側、ネットワーク部分)。自動運転AIを開発するには、世界でトップレベルのスパコンが必要となる。

出典: Andrej Karpathy  

ベータ版の評価

既に、先行ユーザはFSD v9 Betaをクルマにダウンロードし、自動運転機能を試験している。トライアルの様子はビデオで撮影されネットで公開されている。これらのビデオによると、テスラは市街地において信号機に従って走行し、また、一旦停止の交差点で順番を守って発進する機能も確認されている。複雑な市街地でドライバーの介在無しに自動で走行できることが示されている。同時に、道路標識を見落とすケースなども記録されており、まだ完ぺきではないことも分かる。FSD v9 BetaはあくまでLevel 2の自動運転支援システムであり、ドライバーはステアリングに手をかけ、先方を注視しておく必要がある。

出典: James Locke

大量のデータで教育すると自動運転車となるか

Muskは、FSDのAI技術の改良を重ね、2021年末までに最終製品を出荷すると述べている。今年末までに自動運転車を出荷できる根拠として、MuskはこのペースでAI開発を進めると、アルゴリズムのエラー率が大きく下がると予測している。FSDは自動で走行するが、AIが判断を間違えた時は、ドライバーが手動でこれを補正する。年末までに、AIが学習を重ねこの補正操作が不要となるとみている。上述の通り、AIを膨大な数のデータで教育すると、このポイントに到達できるという前提の下で開発を進めている。ただし、この仮定は実証されておらず、テスラにとっては大きな賭けとなる。あと半年でFSDが自動運転車になるのか、市場が注目している。