カテゴリー別アーカイブ: 自動運転車

5Gネットワークの次はEVが国家安全保障を脅かす、中国製自動運転車が監視カメラとなり市街地を走行し機密情報を収集する

自動運転車の開発が進み、製品出荷が目前に迫っている。自動運転車はカメラやLidarなど高機能センサーを搭載し、路上やその周囲のオブジェクトを認識する。自動運転車は”走る監視カメラ”でもあり、市街地の多様な情報を収集する。ここには消費者の個人情報や組織の機密情報が含まれる。中国企業は数年以内に、米国で自動運転車を含むEVの販売を本格化する。中国製のEVが米国市街地のデータを収集し、これを中国本土に送信することに関して懸念が広がっている。米国や欧州は中国製5G技術を規制する方針を打ち出したが、今度は、中国製EVに関するセキュリティが課題となっている。

出典: Tesla

中国政府の規制

自動運転車が収集するデータに関する規制では中国政府が先行している。中国政府は、クルマはデジタル化が進み、運転者のプライバシー保護と国家安全保障のために、クルマが収集するデータの関するガイドラインを発表した。現在、市販されているクルマの15%が自動運転技術を搭載しており、センサーが収集するデータに関する規制が必要との立場を取る。

規制の内容

ガイドラインは、自動運転機能でデータを不正に収集することを防ぎ、また、収集したデータを不正に利用することを防止することを目的とする。具体的には、中国国内外の自動車メーカーが対象となり、クルマが収集するデータは、中国国内に留めるよう義務付けている。対象となるデータは、クルマの位置情報や同乗者情報の他に、クルマのセンサーが撮影した画像やビデオなどで、顔情報、ライセンスプレート情報、個人情報などが含まれる。また、軍事施設内で収集したデータも規制の対象となる。

Teslaへの規制

このガイドラインに先立ち、昨年、中国軍はTeslaの所有者に通達を出し、クルマを軍の敷地に乗り入れることを禁止した。Teslaに搭載しているカメラが軍施設を撮影すると、重大なセキュリティ問題が発生するとしている。Teslaの所有者にクルマを軍施設の域外に駐車するよう求めている。また、先月、中国政府はTeslaが成都市(Chengdu、下の写真)の中心部を走行することを禁止した。この時期に、習近平(Xi Jinping)国家主席が同市を訪問しており、治安上の対策とみられている。

出典: Wikipedia

Teslaのセンサー

実際に、Teslaは高度なセンシング技術を搭載しており、市街地の状況をインテリジェントに把握する。TeslaのカメラとAIは、走行中に撮影した映像から、そこに映っているオブジェクトを判定する(下の写真)。クルマや歩行者などの他に、道路の車線や道路標識などを把握する。更に、Teslaは、車内のカメラで運転車と搭乗者を撮影し、AIが顔認識技術でIDを特定し、前方を注視しているかどうかを判定する。一方、Teslaは、市街地で撮影した人物に対し、顔認識技術を適用しているかどうかについては、何もコメントしていない。

出典: Tesla

Teslaは走る監視カメラ

市場では、Teslaのカメラの映像から、ナンバープレートを読み取り、周囲の人物の顔を認識するソフトウェアが開発されている。このソフトウェアは「Scout」と呼ばれ、オープンソースとして公開されている。このソフトウェアをTeslaにインストールすると、尾行しているクルマを検知し、アラートをあげる。また、駐車中のクルマに接近した不審者の顔を撮影し、その人物を特定する機能がある(下の写真)。ドライバーのセキュリティやクルマの盗難防止に使われているが、Teslaが監視カメラとして利用されている事例となる。

出典: Scout

Teslaをハッキング

自動運転車は簡単にハッキングできることから、セキュリティ対策が問題となっている。ドイツのプログラマーDavid Colomboは、Teslaをハッキングし、クルマが収集したデータにアクセスすることに成功したと発表した。一連のプロセスをブログで公開しており、これを読むと、Teslaをハッキングする手法と、センサーが収集する情報が分かる。Teslaのシステムに不正にアクセスすると、クルマの状態や走行したルート(下の写真)などが分かる。Teslaのセンサーが収集するデータは膨大で、クルマに関する様々な情報を得ることができる。

出典: David Colombo

自動運転車による監視

自動運転車は市街地の監視システムでもあり、これに付随して様々なリスクが発生する。クルマのセンサーが収集するデータから、米国主要都市の人の動きやその特性を理解できる。また、軍関係者や政府要人を特定し、それら人物の行動パターンを見つけ出すことができ、重大なリスクが発生する。また、政府に批判的な活動家の行動をトラックするためにも使われ、個人のプライバシーが侵害される。(下の写真、自動運転車Zooxのカメラが撮影したラスベガス繁華街の様子。高度なAIを搭載し多数の歩行者を同時に把握できる。)

出典: Zoox

法制化の議論

米国政府は5Gに関し、社会インフラを中国企業が構築することの危険性を認識し、Huaweiなど中国企業への規制を強化した。トランプ政権は5G 政策に関しては、米国から中国企業を排除することを主眼としたが、バイデン政権は米国と西側諸国が連携して、オープンな5G技術の開発を進めている。これからは、中国企業が開発したEVや自動運転車が米国で普及すると予測され、5Gと同様なレベルの規制が必要との議論が広がっている。

日本や欧州では

自動運転車は市街地におけるモビリティを担い、インテリジェントで安全に走行できる技術が開発されている。自動運転車は、市街地のネットワークや信号機など、都市インフラと連携し、スマートシティの基幹技術となる。米国を含め、これから日本や欧州で中国製の自動運転車が普及するときに、クルマの監視技術をどう規制するのか、各国で議論が始まることになる。

Waymoは自動運転車のカメラで撮影したイメージをAIで繋ぎ合わせサンフランシスコのデジタルツインを生成

Waymoはサンフランシスコ市街地の3DモデルをAIで生成した。Waymoはサンフランシスコで自動運転車の試験走行を展開しており、クルマのカメラで撮影した写真をAIで繋ぎ合わせ、市街地の3Dマップを生成した。Google Street Viewを立体化した形状で、サンフランシスコのデジタルツインとなる。この中を自由自在に移動でき、自動運転車やロボットの開発において、アルゴリズムのシミュレーションで使われる。

出典: Waymo

写真を繋げ3Dモデルを生成

このAIは「Block-NeRF (Neural Radiance Fields)」と呼ばれ、自動運転車で撮影した写真を繋ぎ合わせ、3Dマップを生成する機能を持つ。上の写真は「グレース大聖堂(Grace Cathedral)」の前を走行しているところで、クルマの車窓から見るように風景が流れていく。ビデオ撮影した景色とは異なり、Block-NeRFで生成したモデルは、カメラのアングルを変えるなど、画像を自由に編集できる。(ビデオへのリンク。)

Dモデルの機能

Waymoはサンフランシスコのアラモ地区(Alamo Square、下の写真左側)で撮影した写真280万枚をBlock-NeRFで繋ぎ合わせて3Dモデル(下の写真右側)を生成した。生成されたモデルは、視点を変えて360度の方向から見ることができる。また、3Dモデルは一塊のデータではなく、撮影されたオブジェクトを自由に編集できる。具体的には、道路や歩道にクルマや歩行者が写っているが、Block-NeRFでこれらを消し去ることができる(下の写真右側、クルマや歩行者写っていない)。また、モデルの環境を設定することもでき、晴れの日の午後などのイメージを生成できる。

出典: Matthew Tancik et al.

NeRFとは

NeRFとは、カメラで撮影した写真をAIで繋ぎ合わせ、3Dモデルを生成する手法を指す。この技法はUC BerkeleyとGoogle Researchのチームが開発した(下の写真、ドラムセットの3Dモデルを生成)。オブジェクトを周囲から撮影し、その写真をNeRFで繋ぎ合わせて3Dモデルを生成する。簡単に立体モデルを生成でき、それを柔軟に操作できるため、この技法が注目されている。

出典: B. Mildenhall, P. P. Srinivasan, M. Tancik et al.

Block-NeRFとは

NeRFは身の回りのもの(ドラムセットなど)や人物など、比較的小さな形状のオブジェクトが対象となる。これに対し、Block-NeRFは市街地のように、大規模な3Dモデルを構築できることが特徴となる。Block-NeRFは複数のNeRFを組み合わせて最終モデルを生成する。実際には、市街地を区画し、それぞれの区画でNeRFで3Dモデルを生成する。各区画で生成した3Dモデルを結合し、市街地全体の3Dモデルを生成する手順となる(下の写真左側、オレンジ色のドットが各区画で使われたNeRFを示す)。NeRFは形状(Visibility)と色彩(Color)で構成され、これを機見合わせ3Dマップを生成する。街中の景観が変わると、その部分のNeRFだけを再教育し、3Dマップを更新する(下の写真右側、上段の景観が下段に変わったケース)。市街地全体のアルゴリズムを再教育する必要はなく、効率的にモデルをアップデートできる。

出典: Matthew Tancik et al.

Block-NeRFの利用方法

生成された3Dモデルは自動運転車やロボットの開発で使われる。自動運転車はLidarやカメラで撮影したイメージから、現在地をピンポイントで特定する。これはLocalizationと呼ばれる処理で、このプロセスをBlock-NeRFで生成した3Dマップで実行する。また、自動運転車の運行を検証するため、シミュレーション環境を制作するために使われる。サンフランシスコのデジタルツインを生成し、ここで自動運転車を走行させ安全性を検証する。

メタバースへの応用

Block-NeRFで生成したモデルは、道路の走行だけでなく、上空を飛行することもできる。例えば、世界一曲がりくねった坂道「ロンバード・ストリート(Lombard Street)」の上を飛行することもできる。(ビデオへのリンク。) Waymoはコメントしていないが、都市のデジタルツインを生成し、これをメタバースの仮想社会として利用することもできる。

出典: Waymo

Waymoの走行試験

Waymoはサンフランシスコで試験走行を進めている(下の写真)。住民が被験者となり、Waymoに搭乗し、安全性の検証が行われている。先月からは、Waymoはセーフティドライバーが搭乗しない無人車両で試験走行を開始した。このケースではWaymo社員が被験者となり、無人車両に搭乗し、安全性の確認が続いている。Waymoはサンフランシスコで6か月間、試験走行を実行してきたが、無人車両での試験走行が商用化に向けた最後のステップとなる。

出典: Waymo

自動運転ロボット「Nuro」がシリコンバレーで営業運転を開始、実際に使ってみたが自動運転車が注文した商品を玄関先まで配送

自動運転ロボット「Nuro」がシリコンバレーで営業運転を開始した。Nuroはトヨタ・プリウスをベースとした自動運転車で、注文した商品を玄関先まで配送する。今はセーフティドライバーが搭乗しているが、将来は、無人車両が商品を配送する。コロナの感染拡大で、Eコマースによる宅配事業が急拡大しており、自動運転ロボットへの期待が高まっている。

出典: Nuro

セブンイレブンと提携

Nuroはコンビニ「セブンイレブン」と提携し、カリフォルニア州マウンテンビュー市で宅配サービスを開始した。オンラインで購入した商品を、トヨタ・プリウスをベースとした自動運転ロボットが、消費者宅まで配送する(上の写真)。Nuroはドライバーの介在なく自動で走行する。Nuroは、専用車両「R2」を開発しており(上の写真左端の車両)、次のステップは、ロボットが無人で商品を宅配する。

実際に使ってみると

早速、Nuroによる配送を試してみたが、全てのプロセスがスムーズに動いた。セブンイレブンで商品を購入するために、専用アプリ「7NOW」を使った(下の写真)。ショッピング画面(左側)で宅配を選択し、希望する商品を購入した(中央)。支払い処理が終わると、店舗側で商品をNuroに積み込む作業が始まる。その後、Nuroがセブンイレブンを出発し、目的地に向かった。Nuroの位置はマップに表示され、運行状態を確認できた(右側)。

出典: VentureClef

Nuroが無事に到着

Nuroは、自宅前に停止し(下の写真)、配送スタッフが購入した商品を玄関先まで届けてくれた。Nuroには、セーフティドライバーが搭乗しており、クルマを安全に運行する。スタッフに話を聞いてみると、Nuroは殆どの区間を自動で走行するが、時々、セーフティドライバーがステアリングを操作するとのこと。(実際、Nuroは玄関前を通り越し、隣の家で停車したため、セーフティドライバーがマニュアル操作で、Uターンして自宅前にクルマを移動した。)

出典: VentureClef

カリフォルニア州の認可

Nuroは、営業運転を開始するにあたり、カリフォルニア州の陸運局 (Department of Motor Vehicles)から、公道を無人走行するための認可を受けた。走行できる地域が指定されており、Nuroはサンタクララ群とサンマテオ群で営業運転を展開できる。また、走行できる道路も規定され、定められたルートを安全に走行する。事実、営業運転は、サンタクララ群のマウンテンビュー市で開始された。(下の写真、試験走行中のNuro)

出典: VentureClef

次のステップ

Nuroは自動運転ロボット「R2」を開発している(下の写真)。R2はレベル5の自動運転車で、ロボットが無人で、商品を消費者宅に配送する。消費者は、ウェブサイトで商品を購入すると、R2がこれを配送する。R2は玄関先に停車し、消費者は貨物ベイのハッチを開けて商品を取り出す仕組みとなる。現在は、食料品の配送が中心であるが、将来は、医薬品の配送も計画されている。

出典: Nuro

ロボット宅配需要が高騰

新型コロナの変異株「Omicron」の感染が広がり、パンデミックの終息が見通せなくなり、宅配サービスの需要が急騰している。レストランの出前サービスの他に、食料品の配送ビジネスが拡大している。小売店舗側はNuroと提携し、ロボットによる宅配サービスを進めている。セブンイレブンの他に、スーパーマーケット「Kroger」やドラッグストア「CVS」がNuroによる宅配サービスを展開している。これらの需要に応えるため、Nuroは技術開発を加速している。

Waymoはサンフランシスコで住民を乗せて走行試験を開始、自動運転車が高齢者の日常生活を支援できるかを検証

Waymoは今週、サンフランシスコで住民を乗せて自動運転車の走行試験を開始することを発表した。これは「Waymo One Trusted Tester Program」と呼ばれ、自動運転車に関する住民の意見を把握することを目的とする。特に、自動運転車が高齢者や非健常者の日常生活を支援できるかを検証することがプログラムの中心となる。

出典: Waymo

住民を乗せて走行試験

この実証試験はWaymoの自動運転車最新モデル「Jaguar I-PACE」で実施される(上の写真)。クルマは自動運転技術「Waymo Driver」の最新版「5th Generation」を搭載している。Waymoはアリゾナ州フェニックスで営業運転を展開しているが、サンフランシスコでは2021年2月から社員が乗客となり試験走行を進めている。道路が整備されたフェニックスとは異なり、サンフランシスコでは市街地の込み合った道を安全に走行する技術が求められる。

検証のポイント

クルマには専任スタッフ「Autonomous Specialist」が搭乗して試験走行が実施される。このプログラムは自動運転車が住民の生活に如何に役立つかを検証する。サンフランシスコはバスや路面電車の他に、UberやLyftなどライドシェアサービスが充実している。この環境でWaymoの特性を把握し如何に差別化を図るかが問われる。Waymoは高齢者や非健常者の足となることを想定しており、車いすや杖を使って生活する住人が自動運転車をどう評価するのかを解析する(下の写真)。また市当局と共同で、Waymoが公共交通機関と連携して住民が移動しやすくする仕組みを構築する。

出典: Waymo

サンフランシスコでの世論調査

Waymoはこれに先立ちサンフランシスコで自動運転車に関する住民の世論調査を実施した。地域住民にクルマの運転や生活における移動方法などを訪ねたもので、地域の特性が明らかになった。サンフランシスコにおける運転で困ることのトップは駐車場が少ないことで、また、公共交通機関がスケジュール通り運行していないことも課題となる。また、サンフランシスコは高齢者や非健常者が多いことも特徴で(下のグラフ)、94,000人が移動手段で問題を抱えている。

出典: Waymo

試験走行エリア

Waymoは試験走行エリアを示していないが、米国メディアはサンフランシスコのダウンタウンを除く部分としている。ユニオンスクエアを中心とするダウンタウンはオフィスビルが立ち並びビジネス街や観光地となっている。Waymoは、この地域は走行せず、住民が住んでいるサンフランシスコ西部と南部を中心に試験する。因みに、曲がりくねったロンバード・ストリート(Lombard Street)は試験エリアに含まれていない。

Waymo Drive最新モデル

WaymoはセンサーとしてLidar、カメラ、レーダーを搭載し(下の写真)、これをソフトウェアで解析し自動で走行する。Waymo Driveの最新モデル5th Generationではセンサーの機能やパッケージングが改良された。レーダーは「Imaging Radar System」と呼ばれ、カメラのように高解像度でオブジェクトを把握することができる。また、Lidarやカメラは構造がシンプルになり製造コストを半分にすることに成功した。これから自動運転技術が本格的に製造されるが、Waymo Driveの量産体制が整った。

出典: Waymo  

高齢化社会と自動運転車

サンフランシスコは全米の中で自動運転車にとって最も高度な技術を必要とする都市となる。ここで安全に走行できれば他の都市でも運行できることになる。このため、Waymoの他に、GM/CruiseやAmazon/Zooxがサンフランシスコで自動運転車の開発を進めている。自動運転車の出荷を目前に控え、Waymoは高齢者や非健常者の足として生活を支えるクルマとして商品化している。日本を含め世界で高齢化が進む中で自動運転車の役割が重要になってきた。

Teslaは世界最高速のAIプロセッサを発表、自動運転車開発でメーカーがAIスパコンを開発し垂直統合が進む

TeslaはAIイベント「AI Day」で自動運転車開発の最新状況を公開した。自動運転の中核技術は高度なコンピュータビジョンで、これを開発するためにはAIスパコンが必要となる。TeslaはAIプロセッサを開発し、これをベースに独自のAIスパコンを構築した。更に、自動運転技術をロボットに応用したヒューマノイドを開発することを明らかにした。

出典: Tesla

発表概要

Teslaの自動運転技術は「Full Self-Driving(FSD)」(上の写真)と呼ばれ、他社とは異なり、カメラだけでクルマが自律走行する。AIはカメラの映像を解析し周囲のオブジェクトを把握するが、ニューラルネットワークの規模が巨大になり、また、アルゴリズムを教育するために大量のデータを必要とする。このため、Teslaは独自でAIプロセッサ「D1 Chip」を開発し、アルゴリズム教育を超高速で実行する。自動車メーカーがスパコン開発まで手掛け、自動運転車で垂直統合が進む。

AI専用スパコン

TeslaはAI専用プロセッサD1をベースとするAIスパコン「ExaPOD」を開発した(下の写真)。このシステムはアルゴリズムの教育などで使われ、一般に「Dojo Supercomputer」と呼ばれる。現在は、GPUをベースとするAIスパコンを運用しているが、これを独自半導体D1 Chipで構成する。最大性能は1.1 ExaFlopsで、世界で第五位の処理能力を持つスパコンとなる。Teslaは既に、独自技術で車載プロセッサ「FDS Chip」を開発しており、クルマでアルゴリズムを実行するために使われている。今回発表のD1 Chipは超高速のプロセッサで、ExaPODでアルゴリズム教育などで使われる。

出典: Tesla

AIプロセッサ

AIプロセッサD1 Chipは354の計算ユニット(Training Node)から成るプロセッサで、最大性能は362 TeraFlopsとなる(下の写真)。計算ユニットはマトリックス計算とベクトル計算機構を備え、ニューラルネットワークの教育に最適のアーキテクチャとなる。従来は、Nvidia GPUを使っていたが、TeslaはAI処理に特化したD1 Chipを独自に開発した。

出典: Tesla  

AIプロセッサの性能比較

D1 Chipの特徴は他のチップと高速でデータ通信できることで、このクラスで最大の能力を持つ。D1 Chipはデバイスの周囲に通信機構(I/O Ring)を搭載し、他のチップとデータを送受信する。D1 Chipの通信性能が高いため、数多くのチップと連結でき、スパコン大規模なスパコンの開発可能となる。(下のグラフはAIチップの処理性能を示している。横軸が演算性能で縦軸が通信速度。GoogleのTPUやGPUに比べ通信性能が高いことが分かる。)

出典: Tesla  

ボードの構造

D1 Chipはボード「Training Tile」(下の写真)に搭載される。ボードには25個のD1 Chipが搭載され、他のボードと高速でデータ通信する。更に、このボード6枚をラックに搭載し、これを24ユニット使い、AIスパコン「ExaPOD」が構成される。つまり、ExaPODは3000個のD1 Chipを搭載し、最大性能は1.1 ExaFlopsとなる。

出典: Tesla  

コンセプト

TeslaはLidarを使わないでカメラだけで自動運転できる技術を開発している。カメラの映像をAIで解析することでクルマが自動走行する。コンピュータビジョンが視覚となり、クルマは動物のように、周りの状況を判断して安全なルートを走行する。クルマは8台のカメラを搭載し、これをAIで解析して周囲のオブジェクトを把握する。

出典: Tesla

自動運転AIの構造

上のグラフィックスはAIのアーキテクチャを示している。それぞれのカメラの映像をCNNで解析し特徴量を把握する(下段の部分)。これをTransformerで融合し、周囲を見渡せる3Dモデルを生成する。3Dモデルはベクトル空間(Vector Space)として構成され、クルマは周囲の状況を3Dで把握するだけでなく、その意味を理解する。更に、AIは過去のオブジェクトを“記憶”する機能を持ち、視界が遮られても周囲の状況を把握できる。(下のグラフィックス、ピックアップトラックがクルマの視界を遮ってもRNNは背後に二台のクルマがいることを覚えている(赤丸で囲った部分)。)

出典: Tesla

スパコンが必要な理由

Teslaが開発しているAIモデルは巨大で、更に、このニューラルネットワークを大量のデータで教育する必要がある。ニューラルネットワークのパラメータの数は数億個といわれ、自動運転車の開発は巨大AI開発でもある。Teslaは市販車両のカメラで撮影した映像をクラウドに集約しており、これが教育データとして使われる。大量の教育データを保有していることがTeslaの強みとなる。巨大なニューラルネットワークを大量のデータで教育するためにはAIスパコンが必須となる。

ロボット開発を開始

イベントの最後にMuskはヒューマノイドロボット「Tesla Bot」(下の写真)を開発することを明らかにした。自動運転車のカメラやAIをロボットに適用することでヒューマノイドを開発し、来年、プロトタイプの完成を目指す。ロボットは繰り返し作業など人間が嫌がるタスクを実行し、買い物に行くなどの利用法が示された。ただ、実際にロボットが完成するかどうかについて、Muskは難しいとの見解を示している。つまり、ロボット開発はMusk流のマーケティング手法で、市場の注目を集め、優秀なエンジニアを雇い入れることが目的との解釈もある。

出典: Tesla

Autopilotの事故が続く

Teslaは運転支援技術「Autopilot」で事故が続き、その対応に苦慮している。Autopilotで自動走行中に停車中の緊急車両に衝突する事故が11件続き、連邦政府(National Highway Transportation and Safety Administration)は調査を開始した。事故は夜間に発生しており、コンピュータビジョンの精度が調査の対象となる。AutopilotのAIに疑問が呈された形となり、Teslaはカメラだけで安全に走行できることを早期に実証する必要性に迫られている。