Googleは世界大規模のAI言語モデル「PaLM」を開発した。AI言語モデルとは言葉を理解するシステムで、規模が大きくなるにつれ、言語機能が向上することが分かっている。Googleが開発した巨大モデルは、言葉を理解する機能に加え、推論機能、プログラムをコーディングする機能でブレークスルーを達成した。

出典: Sharan Narang et al.

PaLMとは

Googleは、2022年4月、世界大規模のAI言語モデル「Pathways Language Model (PaLM)」を公開した。AIの規模はパラメータの数で示され、PaLMは540B(5400億)個で、Microsoft・Nvidia連合が開発した「Turing NLG」の530B(5300億)個を上回り、トップの座を奪った。AI言語モデルはニューラルネットワークの規模が大きくなるにつれ、言語機能が向上することが分かっているが、PaLMでもこの事象が示された。PaLMは、言語翻訳、文章要約、言語理解などの基本機能に加え、推論、常識に基づく説明、プログラミング、ジョークの説明など、多彩な機能を習得した(上の写真、PaLMが習得した機能)。

言葉を理解する能力

AI言語モデルの基本機能は言葉を理解する能力で、それを測定するため、様々なベンチマークテストが用意されている。PaLMは代表的な29のベンチマークを実行し、28の種目で現在の記録を塗り替えた。下のグラフ；ベンチマーク結果、横軸は言語機能の種別で、縦軸は記録更新の大きさを示す。PaLMは推測機能(Natural Language Inference)や常識に基づき理由を説明する機能(Common-sense Reasoning)など、知能が問われる分野で大きな成果を達成した。

出典: Sharan Narang et al.

因果関係

言葉を理解する能力の測定では、AI言語モデルが設問に回答し、その得点で機能を評価する。原因と結果という二つの事象の関係を問う問題は「Cause and Effect」と呼ばれ、AI言語モデルが因果関係を理解する能力を試験する。下の写真；因果関係の試験。「試験で好成績を上げた事象と、試験勉強の関係」を問うもの。青文字がPaLMの回答。「勉強をしっかりすると、試験で高得点を取れる」という因果関係をPaLMは理解した。因果関係を理解することはAIにとって大きな障壁であった。

出典: Sharan Narang et al.

下の写真；絵文字を使ったゲーム。絵文字で示された内容を理解し、それが示す映画を当てるゲーム。絵文字は「ロボット」、「昆虫」、「若葉」、「地球」で、これらと関係する映画を当てる問題。PaLMは、絵文字というイメージを理解し、それをもとに映画「Wall-E」と回答。正しく推論できる能力を示した。

出典: Sharan Narang et al.

推論機能

PaLMは言語能力の中で「推論(Reasoning)」機能でブレークスルーを達成した。推論とは、いくつかの命題から、結論を引き出す思考方法で、人間の理性を代表する能力である。PaLMは、数学計算における推論 (multi-step arithmetic reasoning)と、常識に基づく推論 (common-sense reasoning)で高い性能を発揮した。

数学計算における推論機能

数学計算における推論機能とは、計算問題を解くための推論機能を指す。下の写真右側下段；算数の問題。「カフェテリアに23個のリンゴがあり、ここから20個を使い、新たに6個を購入した。リンゴはいくつあるか？」という問題で、人間は簡単に解くことができるが、AI言語モデルにとっては難解。PaLMは「11」と正しく回答した。PaLMは、9歳から12歳の子供が算数の問題を解く能力の60％に到達した。

ステップに分けて推論

数学計算はコンピュータの基本機能であるが、AI言語モデルはこれを人間のように、論理的に考えて解くことができなかった(下の写真左側)。これに対し、PaLMは、数学計算を複数のステップに分けて推測することで、正しく答えることができた。この手法は「Chain of Thought Prompting」と呼ばれ、AI言語モデルが思考過程を複数のステップに分けて実行し、その結果を出力する。人間の論理思考を模倣したもので、ステップごとに推論を重ねることで、正解率が大きく向上した。下の写真右側；黄色のシェイドの部分がPaLMの推論過程を示している。

出典: Sharan Narang et al.

常識に基づく推論機能：ジョークを説明

常識に基づく推論機能とは、文章の意味を、社会常識を使い、言葉を理解し、推測する機能を指す。例えば、ジョークについて、なぜ面白いのか、PaLMはそのオチを説明することができる。下の写真；PaLMがジョークを理解しそのオチを説明。ジョーク「GoogleはTPUチームにクジラを採用した。クジラが異なるPodの間でコミュニケーションする」。PaLMがジョークの意味を解説「PodとはTPUプロセッサの集合体で、また、Podはクジラの集団という意味がある。採用したクジラは、他のTPUチームとコミュニケーションできることを意味している。」

出典: Sharan Narang et al.

常識に基づく推論機能：論理的推論

PaLMは提示された文章の内容を論理的に推論することができる。一見、不条理で意味不明な文章を示されると、PaLMはそれを論理的に推測し、その真意を把握する。下の写真；提示された文章を考察し、PaLMがその意味を推論する問題。意味不明な文章「長い間、頭を持っている山があり、それを見学するためにドライブした。その東隣の州都はどこか？」。PaLMの推論：「頭を持っている山は、ラシュモア山(Mount Rushmore)で、サウスダコタ州にある。その東隣はミネソタ州で州都はミネアポリス。」(ラシュモア山には大統領の胸像が彫られている。)

出典: Sharan Narang et al.

プログラミング機能

PaLMはプログラミングする技術を習得した。具体的には、人間が言葉で指示した内容をPaLMがプログラムに変換する(下の写真)。また、PaLMがプログラムを他の言語に変換する。更に、PaLMはプログラムのバグを修正することができる。下の写真；人間が言葉でタスクを指示すると(左側)、PaLMはその内容をプログラミングする(右側)。ここでは異なる音符の長さを合計するコードを生成。

出典: Sharan Narang et al.

アルゴリズムのバイアス

PaLMが判定した結果は、公正ではなく、バイアスしているため、この危険性を事前に評価した。また、アルゴリズムが、性別や人種に関し、危険な表現を出力する可能性を指摘した。例えば、PaLMは、イスラム教(Islam)という言葉に暴力を結び付ける傾向が強い。これは教育に使われたデータが公正ではないために起こる現象で、Googleはこれらを事前に測定し、制限事項としてドキュメントに纏めた。このドキュメントは「Model Card」と呼ばれ、PaLMの使用説明書となり、ここに機能概要や制限事項が記載されている(下の写真、Model Cardの一部)。AIは医薬品と同じように、使い方を誤ると生活に支障をきたすので、その使用手引きが重要な役割を担う。

出典: Sharan Narang et al.

プロセッサ構成

PaLMの開発は、Googleが開発したAIプロセッサ「TPU V4」で実行された。AIプロセッサはラックに搭載され、「Cloud TPU v4 Pods」というAI専用サーバを構成する(下の写真)。PaLMの開発では、2台のCloud TPU v4 Podsが使われ、合計で6144台のTPU V4でアルゴリズムの教育が実行された。このシステムはGoogleが構築した最大構成のTPU Podで、ここでPaLMの教育が並列に実行された。

出典: Google

Pathwaysとは

PaLMは「Pathways Language Model」の略で、AIモデル「Transformer」を「Pathways」という方式で教育した言語モデルを意味する。Pathwaysとは、大規模なアルゴリズムの教育を並列に実行する方式で、多重で処理することで処理効率を上げることができる(下の写真)。教育では二つのPod(Pod 1とPod 2)を使い、教育データを二分割 (AとB)し、それぞれのPodで実行する。Aのデータで教育が終了すると、その結果(Gradient)をBに送り、残りの半分のデータを教育する。これにより、Podを効率的に使うことができ、稼働率57.8%を達成した。

出典: Sharan Narang et al.

AI言語モデルの開発競争

AI言語モデルの開発競争がし烈を極め、ニューラルネットワークのサイズが急速に拡大している。OpenAIは「GPT-3」(パラメータの数は1750億)を開発し、AIモデルが巨大化する口火を切った。これに対し、MicrosoftとNvidia連合は「Turing NLG」(パラメータの数は5300億)というモデルを開発し、NvidiaのGPUスパコンでアルゴリズム教育を実行した。GoogleのPaLMはこれを100億上回り、世界最大規模のAIモデルとなった。

大規模AIモデルを開発する理由

各社が競って大規模AIモデルを開発する理由は、ニューラルネットワークはサイズが大きくなるにつれ、機能が格段に向上するためである。基礎機能が強化されることに加え、アルゴリズムが新たな能力を習得することが分かっている。PaLMでもこの事象が観測され、ニューラルネットワークのサイズを更に大きくすることで、推論機能など知能の一部を獲得した。これから更にAIの規模を拡大すると、人間レベルの知能を得ることができると期待されている。

Waymoはサンフランシスコ市街地の３DモデルをAIで生成した。Waymoはサンフランシスコで自動運転車の試験走行を展開しており、クルマのカメラで撮影した写真をAIで繋ぎ合わせ、市街地の３Dマップを生成した。Google Street Viewを立体化した形状で、サンフランシスコのデジタルツインとなる。この中を自由自在に移動でき、自動運転車やロボットの開発において、アルゴリズムのシミュレーションで使われる。

出典: Waymo

写真を繋げ３Dモデルを生成

このAIは「Block-NeRF (Neural Radiance Fields)」と呼ばれ、自動運転車で撮影した写真を繋ぎ合わせ、３Dマップを生成する機能を持つ。上の写真は「グレース大聖堂(Grace Cathedral)」の前を走行しているところで、クルマの車窓から見るように風景が流れていく。ビデオ撮影した景色とは異なり、Block-NeRFで生成したモデルは、カメラのアングルを変えるなど、画像を自由に編集できる。(ビデオへのリンク。)

３Dモデルの機能

Waymoはサンフランシスコのアラモ地区(Alamo Square、下の写真左側)で撮影した写真280万枚をBlock-NeRFで繋ぎ合わせて３Ｄモデル(下の写真右側)を生成した。生成されたモデルは、視点を変えて360度の方向から見ることができる。また、３Dモデルは一塊のデータではなく、撮影されたオブジェクトを自由に編集できる。具体的には、道路や歩道にクルマや歩行者が写っているが、Block-NeRFでこれらを消し去ることができる(下の写真右側、クルマや歩行者写っていない)。また、モデルの環境を設定することもでき、晴れの日の午後などのイメージを生成できる。

出典: Matthew Tancik et al.

NeRFとは

NeRFとは、カメラで撮影した写真をAIで繋ぎ合わせ、３Dモデルを生成する手法を指す。この技法はUC BerkeleyとGoogle Researchのチームが開発した(下の写真、ドラムセットの３Dモデルを生成)。オブジェクトを周囲から撮影し、その写真をNeRFで繋ぎ合わせて３Ｄモデルを生成する。簡単に立体モデルを生成でき、それを柔軟に操作できるため、この技法が注目されている。

出典: B. Mildenhall, P. P. Srinivasan, M. Tancik et al.

Block-NeRFとは

NeRFは身の回りのもの(ドラムセットなど)や人物など、比較的小さな形状のオブジェクトが対象となる。これに対し、Block-NeRFは市街地のように、大規模な３Ｄモデルを構築できることが特徴となる。Block-NeRFは複数のNeRFを組み合わせて最終モデルを生成する。実際には、市街地を区画し、それぞれの区画でNeRFで３Dモデルを生成する。各区画で生成した３Ｄモデルを結合し、市街地全体の３Dモデルを生成する手順となる(下の写真左側、オレンジ色のドットが各区画で使われたNeRFを示す)。NeRFは形状(Visibility)と色彩(Color)で構成され、これを機見合わせ３Dマップを生成する。街中の景観が変わると、その部分のNeRFだけを再教育し、３Dマップを更新する(下の写真右側、上段の景観が下段に変わったケース)。市街地全体のアルゴリズムを再教育する必要はなく、効率的にモデルをアップデートできる。

出典: Matthew Tancik et al.

Block-NeRFの利用方法

生成された３Ｄモデルは自動運転車やロボットの開発で使われる。自動運転車はLidarやカメラで撮影したイメージから、現在地をピンポイントで特定する。これはLocalizationと呼ばれる処理で、このプロセスをBlock-NeRFで生成した３Ｄマップで実行する。また、自動運転車の運行を検証するため、シミュレーション環境を制作するために使われる。サンフランシスコのデジタルツインを生成し、ここで自動運転車を走行させ安全性を検証する。

メタバースへの応用

Block-NeRFで生成したモデルは、道路の走行だけでなく、上空を飛行することもできる。例えば、世界一曲がりくねった坂道「ロンバード・ストリート(Lombard Street)」の上を飛行することもできる。(ビデオへのリンク。) Waymoはコメントしていないが、都市のデジタルツインを生成し、これをメタバースの仮想社会として利用することもできる。

出典: Waymo

Waymoの走行試験

Waymoはサンフランシスコで試験走行を進めている(下の写真)。住民が被験者となり、Waymoに搭乗し、安全性の検証が行われている。先月からは、Waymoはセーフティドライバーが搭乗しない無人車両で試験走行を開始した。このケースではWaymo社員が被験者となり、無人車両に搭乗し、安全性の確認が続いている。Waymoはサンフランシスコで6か月間、試験走行を実行してきたが、無人車両での試験走行が商用化に向けた最後のステップとなる。

出典: Waymo

コロナの感染が下火になり、エンデミックに移行する中、シリコンバレーのIT企業はハイブリッド勤務に移行する。Googleはリモートワークを終え、4月4日からハイブリッド勤務を始める。社員は週三日、オフィスに出勤する勤務形態となる。Appleも4月11日にオフィスを再開し、5月23日からは、社員は週三日出社のハイブリッド勤務となる。

出典: Google

Google

Googleは社員に対し、4月4日までに在宅勤務を終えてオフィスに戻るよう通達を出し、週三日出社のハイブリッド勤務に移行する。今月はトライアル期間で、在宅勤務に慣れたワークスタイルをオフィス勤務に戻すためのプログラムが用意されている。オフィス内では、ワクチン接種を済ませた社員は、マスク着用や定期検査は不要となる。食堂やカフェが再開し、シャトルバスの運行が始まる。Googleはハイブリッド勤務向けに、オフィスレイアウトを大幅に変更している(上の写真、ハイブリッド勤務向け会議室)。来月からハイブリッド勤務が始まるが、その効果を検証しながらワークスタイルを調整するとしている。

Apple

Appleも4月11に、リモートワークを終了しハイブリッド勤務に移行する。移行期間中は週1日から2日のオフィス勤務となるが、5月23日からは週3日の出社となる。Appleの場合は出社日が決まっていて、月曜、火曜、木曜がコアの出勤日となる。また、週三日以上勤務することも可能で、社員はライフスタイルに応じて勤務パターンを選択できる。(下の写真、Apple Park)

出典: VentureClef

Twitter

Twitterは3月15日にオフィスを再開するものの、社員はリモートワークを継続することができる(下の写真、本社ビル)。CEOのParag Agrawalは、社員は最も生産性が上がるワークスタイルを選択すべきと述べている。このために、社員は在宅勤務やオフィス勤務やハイブリッド勤務の中から、自分に最適なスタイルを選択する。同時にAgrawalは、在宅勤務とオフィス勤務が混在することで、仕事の進行が難しくなると予想しており、ハイブリッド勤務を続けながら最適な解を見出すとしている。

出典: VentureClef

Block(旧Square)

モバイルペイメント企業Block(旧Square)は、社員が遠隔勤務を続けることを認めている。社員は好みの場所からリモートで勤務することができる。既に、社員は各地に移住しており、会社組織は分散型となっている。管理職は同じ場所の社員だけでなく、遠隔地の社員を管轄することになり、管理職の40％は同じオフィスに部下は誰もいないとしている(下の写真)。管理職はリモートで社員をマネージする技量が必要になる。

出典: Alyssa Henry

Slack

Slackはハイブリッド勤務を導入しており、仕事の進行は「非同期型業務(Asynchronous Work)」を推奨している。非同期型業務とは、他の社員とリアルタイムでコラボレーションするのではなく、自分のワークスタイルに合わせて非同期で共同作業を進める方式を指す。社員は仕事に没頭できる時間「コアタイム(Core Time)」を設定し生産性を上げる。コアタイム以外の時間帯に他の社員と共同作業を進める。

Salesforce

Slackの親会社であるSalesforceは、オフィス勤務の意義を問い直している(下の写真左側、本社ビル)。ハイブリッド勤務になると、オフィスは他の社員とコラボレーションする場所として利用する。オフィスは個人の仕事場という役割が小さくなる。Salesforceは社員間の交流を重視しており、社外で交流イベントを開催している。Salesforceはサンフランシスコ郊外に山荘「Trailblazer Ranch」を開設し、社員教育や社員の交流の場として使ってる(下の写真右側)。

出典: VentureClef / Salesforce

ポストコロナのワークスタイル

シリコンバレーのIT企業はオフィスを再開するが、社員の勤務形態については大きな自由度を持たせている。社員にオフィス勤務を強いると、生産性が上がらないだけでなく、多くの社員が辞めていくという現実がある。一方、完全在宅勤務では社員間のコラボレーションや人間関係の構築が難しい。このため、多くの企業はこれらのバランスを考慮し、ハイブリッド勤務を選択し、ポストコロナのワークスタイルを模索している。

Waymoは今週、サンフランシスコで住民を乗せて自動運転車の走行試験を開始することを発表した。これは「Waymo One Trusted Tester Program」と呼ばれ、自動運転車に関する住民の意見を把握することを目的とする。特に、自動運転車が高齢者や非健常者の日常生活を支援できるかを検証することがプログラムの中心となる。

出典: Waymo

住民を乗せて走行試験

この実証試験はWaymoの自動運転車最新モデル「Jaguar I-PACE」で実施される(上の写真)。クルマは自動運転技術「Waymo Driver」の最新版「5th Generation」を搭載している。Waymoはアリゾナ州フェニックスで営業運転を展開しているが、サンフランシスコでは2021年2月から社員が乗客となり試験走行を進めている。道路が整備されたフェニックスとは異なり、サンフランシスコでは市街地の込み合った道を安全に走行する技術が求められる。

検証のポイント

クルマには専任スタッフ「Autonomous Specialist」が搭乗して試験走行が実施される。このプログラムは自動運転車が住民の生活に如何に役立つかを検証する。サンフランシスコはバスや路面電車の他に、UberやLyftなどライドシェアサービスが充実している。この環境でWaymoの特性を把握し如何に差別化を図るかが問われる。Waymoは高齢者や非健常者の足となることを想定しており、車いすや杖を使って生活する住人が自動運転車をどう評価するのかを解析する(下の写真)。また市当局と共同で、Waymoが公共交通機関と連携して住民が移動しやすくする仕組みを構築する。

出典: Waymo

サンフランシスコでの世論調査

Waymoはこれに先立ちサンフランシスコで自動運転車に関する住民の世論調査を実施した。地域住民にクルマの運転や生活における移動方法などを訪ねたもので、地域の特性が明らかになった。サンフランシスコにおける運転で困ることのトップは駐車場が少ないことで、また、公共交通機関がスケジュール通り運行していないことも課題となる。また、サンフランシスコは高齢者や非健常者が多いことも特徴で(下のグラフ)、94,000人が移動手段で問題を抱えている。

出典: Waymo

試験走行エリア

Waymoは試験走行エリアを示していないが、米国メディアはサンフランシスコのダウンタウンを除く部分としている。ユニオンスクエアを中心とするダウンタウンはオフィスビルが立ち並びビジネス街や観光地となっている。Waymoは、この地域は走行せず、住民が住んでいるサンフランシスコ西部と南部を中心に試験する。因みに、曲がりくねったロンバード・ストリート(Lombard Street)は試験エリアに含まれていない。

Waymo Drive最新モデル

WaymoはセンサーとしてLidar、カメラ、レーダーを搭載し(下の写真)、これをソフトウェアで解析し自動で走行する。Waymo Driveの最新モデル5th Generationではセンサーの機能やパッケージングが改良された。レーダーは「Imaging Radar System」と呼ばれ、カメラのように高解像度でオブジェクトを把握することができる。また、Lidarやカメラは構造がシンプルになり製造コストを半分にすることに成功した。これから自動運転技術が本格的に製造されるが、Waymo Driveの量産体制が整った。

出典: Waymo

高齢化社会と自動運転車

サンフランシスコは全米の中で自動運転車にとって最も高度な技術を必要とする都市となる。ここで安全に走行できれば他の都市でも運行できることになる。このため、Waymoの他に、GM/CruiseやAmazon/Zooxがサンフランシスコで自動運転車の開発を進めている。自動運転車の出荷を目前に控え、Waymoは高齢者や非健常者の足として生活を支えるクルマとして商品化している。日本を含め世界で高齢化が進む中で自動運転車の役割が重要になってきた。