Google DeepMindは生成AIでロボットの頭脳「RT-2」を開発した。生成AIはチャットボット「Bard」のエンジンとして使われているが、これをロボットに適用した。RT-2は人間の言葉を理解し、カメラの映像を読み込み、ロボットのアクションを計算する。この手法は、ロボットは教育されていない命令を実行できることを意味し、汎用ロボットの開発に向けて大きな技術進化となる。

出典: Google DeepMind

RT-2とは

Google DeepMindはロボットの頭脳「Robotic Transformer 2 (RT-2)」を開発した。名前の通り、言語モデル「Transformer」で構成されるロボットで、言葉(人間の命令)とイメージ(カメラの映像)をアクション(ロボットの動作)に翻訳する機能を持つ。人間の指示をそのままロボットが実行することを意味し、RT-2は初めての環境でもタスクを実行することができる。RT-2はロボットハードウェアに実装され、カメラで目の前のオブジェクトを捉え、ロボットアームが処理を実行する(上の写真)。

汎用ロボットの開発

GoogleはTransformerを搭載することで汎用ロボットを開発するアプローチを取る。現在のロボットは、特定のタスク(リンゴを掴むなど)を繰り返し練習し、スキルを獲得する。これに対し汎用ロボットは、特定のスキル(リンゴを掴むなど)を習得すると、それを別のタスク(バナナを掴むなど)に応用する。人間のように学習したことを汎用的に使いこなす能力で、ロボット開発のグランドチャレンジとなっている。

RT-1とRT-2を開発

言語モデル「Transformer」をロボットに適用する試みは「RT-1」で始まり、ロボットは学習したスキルを別のロボットに移転することが可能となった。RT-2はRT-1が学習したことを継承し、更に、ウェブ上のデータを学び、世界の知識を習得した。これにより、人間の言葉をロボットの言葉に翻訳し、初めての環境でもタスクを実行し、ロボットの汎用性が向上した。

RT-2の成果：初めてのタスク

RT-2はカメラで捉えたイメージだけで、指示された命令を実行する。具体的には、ロボットが「イチゴを掴んでボールに移す」よう指示されると、RT-2はカメラで捉えたイメージから、次のアクションを予想し、これをロボットが実行する(下の写真左側)。今までのロボットは、イチゴを掴んでボールに移す操作を何回も練習して、このスキルを獲得するが、RT-2は学習していないスキルでも、これを実行することができる。同様に、「テーブルから落ちそうな包みを掴んで」と指示されると、RT-2は初めてのタスクでもこれを実行する(右側)。

出典: Google DeepMind

RT-2の成果：初めての環境

RT-2は今までに学習したことのない環境で、命令を実行することができる。RT-2は、見たことのないオブジェクトを操作できる(下の写真左側)。また、学習していない背景(中央、テーブルクロス)や、学習していない環境(右側、キッチンのシンク)において、指示されたタスクを実行できる。このスキルは汎用化(Generalization)と呼ばれ、学習したことを元に、新しい環境でその知識を応用し、タスクを実行できる能力を指す。

出典: Google DeepMind

RT-2の成果：推論機能

RT-2のモデルが更に改良され、ロボットは推論機能を獲得した。これは「考察の連鎖(chain-of-thought)」と呼ばれるもので、ロボットは複数の思考ステップを経て結論を導き出す。ロボットは「目的」と「アクション」を理解してそれを実行する。具体的には、ロボットに「くぎを打つ」という目的を示し、このために「どのオブジェクトを使えるか」と聞くと、ロボットは「紙」、「石」、「コード」の中から(下の写真左側)、「石」を取り上げる(右側)。RT-2は「金槌」が無い時は「石」を代用できることを推論した。

出典: Google DeepMind

ベンチマーク結果

RT-1とRT-2がタスクを実行できる能力を比較すると、その差は歴然としており、大規模言語モデルを適用することで、性能が向上することが示された(下のグラフ)。具体的には、既に学習したタスク「Seen」を実行できる割合については、両者で互角となる(左端)。しかし、初めてのタスク「Unseen」に関しては、RT-2が実行できる割合がRT-1を大きく上回る(右端)。RT-2は、人間と同じように、学習したことを新しい環境に適用できることを意味し、汎用的に学習する機能を獲得した。(RT-1は灰色のグラフ、RT-2は紫色と薄青色のグラフ。)

RT-2は大規模言語モデルの種類により二つのモデルが開発された。二つの言語モデルは：

• PaLM-E：言語モデル「PaLM」をロボット向けに最適化。言語とイメージを処理。
• PaLI-X：言語モデル「PaLI」の小型モデル。多言語とイメージを処理。

出典: Google DeepMind

ロボット開発は進まないが

大規模言語モデル「Transformer」はChatGPTなどチャットボットのエンジンとして使われ、人間の言語能力を凌駕し、社会に衝撃を与えた。Googleはこれをロボットに適用することで、研究開発におけるブレークスルーを目指している。デジタル空間のAIは劇的な進化を続けているが、ロボットなど実社会におけるAIは目立った進展が無い。生成AIでこの壁を破れるのか、世界の研究者が注目している。

大規模言語モデル「GPT-4」は、サイズを拡大しても、それに応じて性能が伸びない、という問題に直面している。ニューラルネットワークのパラメータの数を増やしても、モデルの性能が向上しない、ということを意味する。OpenAIのCEOであるSam Altmanは、この問題を認め、「AIの規模拡大競争の時代は終わった」と述べている。この発言は、OpenAIは大規模言語モデルの新しいアーキテクチャの開発を進めている、ことを示唆している。

出典: Adobe Stock

大規模言語モデルの性能問題とは

これは「Diminishing Returns」と呼ばれ、言語モデルのサイズを大きくしても、その成果(リターン)が得られない事象で、性能が伸びない問題を指す。OpenAIは言語モデルとして「GPTシリーズ」を開発してきたが、GPT-3までは規模を拡大すると、それに伴って性能が向上した。特に、GPT-3では、人間レベルの言語機能を習得し、社会に衝撃を与えた。しかし、最新モデルGPT-4ではこのトレンドが崩れ、もうこれ以上ニューラルネットワークの規模を拡大できない地点に到達した。

言語モデルの限界

大規模言語モデルが限界点に到達したとは、今のプロセッサでは処理できない規模になったことを意味する。技術的な観点からは、GPT-4は「Transformers」というアーキテクチャで構成されたモデルで、規模を拡大するとは、パラメータの数を増やし、教育データの量を拡大することを意味する。GPT-4を教育するためには巨大なシステムが必要で、Altmanはモデルの開発で1億ドルを要したと述べている。更に、開発した巨大なモデルを実行するには、大量の計算機が必要になり、運用費用が巨額になる。つまり、巨大な言語モデルを開発し、それを運用するには、技術的にもビジネスの観点からも、現実的でないというポイントに到達した。

出典: Microsoft

新たなアーキテクチャの研究

このため、Altmanは言語モデルの性能限界を突破するために、新たなアーキテクチャを探求する必要があると述べている。しかし、そのアプローチについては何も語っておらず、研究者の間でその手法に関する議論が白熱している。

研究者の推論を纏めると ##未確認情報＃＃

ネットではGPT-4のアーキテクチャについて様々な議論が交わされている。OpenAIは、これらの推測に関し何もコメントしておらず、議論の過程の情報となる。これらの議論を纏めると、GPT-4は単体のモデルではなく、16の小型モジュールを組み合わせた、複合型の言語モデルとなる。アーキテクチャの観点からは、このモデルは「Mixture of Experts」と呼ばれ、16の専用モジュールから成り、プロンプトに対しモジュールの中の「エキスパート」が回答を生成するという構図となる。具体的には、GPT-4のシステム構成は：

• モジュール構成：GPT-4は16のモジュールから構成される。モジュールのパラメータの数は1110億で、GPT-3程度の規模となる。GPT-4全体では、パラメータの数は1.8兆個となる。GPT-4はGPT-3を16ユニット結合したサイズとなる。
• エキスパート機能：この構成は「Mixture of Experts (MoE)」と呼ばれ、各モジュールが分野のエキスパートとなる。問われたことに関し、最適のモジュールが解答を生成する。例えば、科学に関する質問には、それ専門のモジュールが稼働し解答を生成する。
• 教育データ：GPT-4は13兆のトークン(Token、単語などの基本単位)で教育された。極めて大量のデータで教育された。教育データはテキストやプログラムのコードが使われ、また、ツイッターやRedditなどのソーシャルメディアのデータが使われた。更に、YouTubeのビデオと、書籍などの著作物が使われた。
• インファレンス(実行)：開発された巨大なモデルを如何に効率的に運用するかが課題となる。モデルを実行するプロセスは「Inference」と呼ばれ、Mixture of Experts構成を取ることで、運用コストを低減できる。プロンプトに対し、GPT-4全体を稼働させる必要はなく、専用のモジュールを２つ稼働させる。これにより、GPT-4を実行するコストはGPT-3の3倍と予測される。

Mixture of Expertsとは

Mixture of Expertsは早くから開発されている技法で、Googleはこのアーキテクチャに基づくモデル「GLaM」をリリースした。Googleは、このアーキテクチャを「Mixture-of-Experts with Expert Choice Routing」として発表している(下のグラフィックス)。これは、Transformersの「Feed Forward Neural Networks(FFN)」というネットワークを「Mixture-of-Experts」(FFN 1からFFN 4の四つのモジュール)で置き換えることにより、モデルの処理を効率化できるとしている。Googleはこのアーキテクチャに基づく言語モデル「Generalist Language Model (GLaM)」を開発し、言語モデルの規模を拡大できることを示した。具体的には、「GLaM」と「GPT-3」を比較すると、教育したモデルを実行するプロセス(Inference)で、計算量を大きく削減することができることを示した。

出典: Google

規模拡大からアイディアを競い合う時代に

大規模言語モデルは「Transformers」で構成されたニューラルネットワークで、その規模を拡大することで、性能が向上し、新たな機能を獲得してきた。しかし、このトレンドは限界地点に達し、これ以上規模を拡大しても大きな性能の伸びは期待できない。これからは、言語モデルのアーキテクチャを改良することで、スケーラビリティを探求することとなる。この分野では既に、GoogleやDeepMindが新技術を開発しており、OpenAIとの競合がより厳しくなる。

サンフランシスコでセキュリティの国際会議「RSA Conference 2023」が開催された。今年の中心テーマは生成AIで、ChatGPTを悪用した犯罪とその防御方法が議論された。セキュリティ企業は生成AIを活用した次世代の防衛技術を公開した。Googleは世界最大規模の生成AIを開発しており、これをベースにしたセキュリティ技術を公開した。

出典: VentureClef

生成AIによる防衛技術

Googleは生成AIを使ったセキュリティ技術「Cloud Security AI Workbench」を公開し、RSA 2023で注目を集めた(上の写真)。AI WorkbenchはGoogleが開発した大規模言語モデル「Sec-PaLM」に構築されるセキュリティ技術で、高精度でマルウェアを検知する機能を持つ。Sec-PaLMとは、名前が示すように、世界最大規模の生成AI「PaLM」をベースとするシステムで、これをセキュリティに特化したモデルにアップグレードした。つまり、世界最大規模のセキュリティ向け生成AIとなる。

セキュリティ向け教育データ

AI Workbenchの教育では、セキュリティに関する大量のデータが使われ、モデルはマルウェアに関する高度なスキルを学習した(下のグラフィックス)。これは「セキュリティ・インテリジェンス」と呼ばれ、Googleが収集したデータの他に、パートナー企業であるMandiantが保有するデータが使われた。具体的には、システムの脆弱性、マルウェア、攻撃のシグナル、攻撃の特性やその挙動などに関するデータで教育され、アルゴリズムはサイバー攻撃に関する包括的なスキルを学習した。

出典: Google

AI Workbenchの機能

AI Workbenchは世界最大規模の生成AIをベースとするシステムで、セキュリティに関するプロセスを自動化する。AI Workbenchは、システムに対する攻撃を把握し、これに対する防衛機能を自律的に実行する。また、システム全体を検証し、セキュリティに関する問題点などを指摘する。AI Workbenchの主要機能は：

• サイバー攻撃を把握：セキュリティに関する大量のデータ(セキュリティのログや通信トラフィックなど)を解析しサイバー攻撃の兆候を把握する
• サイバー攻撃に対する防御：攻撃に対して自律的に防衛措置(IPアドレスの封鎖やファイルの検疫など)を実施し脅威を低減する
• システムの脆弱性の検査：システム全体を検証してセキュリティ・ギャップなど脆弱性を把握し、セキュリティ強化に関する提言を行う

マルウェア検知のサービス

GoogleはAI Workbenchを統合したセキュリティサービス「VirusTotal Code Insight」(下の写真)を開発した。このサービスはコードをスキャンし、それがマルウェアであるかどうかを判定する。その際に、マルウェアである確度(下の写真上段、レベル８)と、マルウェアの特性や挙動を分かりやすい言葉で説明し(下段)、分かりやすいインターフェイスで迅速な対応が可能となる。VirusTotalはGoogleが買収した企業で、マルウェアに関する情報を集約したウェブサイトを運営している。

出典: VirusTotal

攻撃に関する情報検索

Google Cloudは大量のログデータから攻撃のシグナルを検知するセキュリティ機能「Chronicle Security Operations」を提供している。Chronicle Security OperationsはAI Workbenchを統合し、インテリジェントにサイバー攻撃を検知する技術を提供する。専門家に代わりAIが検索のためのクエリーを生成し、自律的に攻撃を検索し、その結果を分かりやすく表示する。これにより、セキュリティ専門家でなくても、マルウェアによる攻撃を検知できる。(下のスクリーンショットは「CONFIDENTIAL」というタイトルのドキュメントを外部に送信したイベントを検索した事例で、データリークを迅速に検知する)。

出典: Google

AI Workbenchの目的

企業は数多くのセキュリティツールを導入しているが、これらが生成するデータの数は膨大で、これを人間が解析するには限界があり、AI Workbenchがこれを自動化する。また、セキュリティツールを使うには高度な技術を要するが、AI Workbenchがインターフェイスとなり、セキュリティに関する情報を分かりやすく説明する。セキュリティ市場では高度な技術を持つエンジニアが不足しており、人間に代わりAI Workbenchがセキュリティ専門家として機能する。

生成AIで防衛機能を強化

GoogleはAI Workbenchをパートナー企業に提供し、セキュリティ製品に組み込まれて出荷される。その後、一般向けに提供され、企業はAI Workbenchを統合したセキュリティシステムを開発することができる。その際に、企業は所有するデータでアルゴリズムを再度教育し、ビジネスに最適なモデルを構築することができる。ChatGPTの利用が急拡大する中、生成AIでセキュリティ機能を強化する技法が示され、サイバー攻撃への防衛能力が高まると期待されている。

欧州連合(European Union、EU)は域内のAIを規制する法令「AI Act」の成立を目指し最終調整を続けている。EUはChatGPTなど生成AIを「ハイリスクなAI」として追加し、運用に厳しい条件を課すことを明らかにした。これに対しOpenAIは強く反発し、規制について合意できない場合は欧州市場から撤退すると表明。一方、Googleは独自の規制方式を提案し、欧州連合とAI規制方針について合意を模索している。欧州連合と米国企業の間で、AI規制案に関し、考え方の相違が表面化した。

出典: Reuters

AI Actの改版

「AI Act (Artificial Intelligence Act)」とは欧州員会(European Commission、EC)によるAI規制法で、EU内でAIを安全に運用するためのフレームワークとなる。現在、法案の最終調整が行われており、年内に最終案を取りまとめ、2025年からの施行を目指す。この過程で、「ファウンデーションモデル(Foundation Models)」と呼ばれるAIが追加された。ファウンデーションモデルとは大規模な言語モデルで、OpenAIの「ChatGPT」やGoogleの「Bard」など、生成AIが含まれる。これにより、ChatGPTなどが「ハイリスクなAI」と区分され、その運用に厳しい条件が課されることとなった。

ChatGPTなどに課される厳しい条件

改版されたAI Actは、生成AIを開発するOpenAIやGoogleに対し、製品の運用や開発で厳しい条件を科す(下のグラフィックス)。その条件は運用と開発の二つプロセスに適用される：

• 運用における条件：AIが使われていることを示し、AIが有害なコンテンツを生成しないこと。AIが第三者企業の製品に組み込まれて利用される場合も、開発企業にこの義務が課される。
• 開発における条件：AIのアルゴリズムの教育データに関し、著作物を使用した場合は、その概要を開示する。

出典: European Parliament

OpenAIはEUから撤退

これに対しOpenAIは強く反発した。CEOのSam Altmanは、AI Actの規制条件に沿うよう最大限の努力をするが、これが実現できなければ欧州市場から撤退すると述べた。AI Actに準拠できない場合は制裁金が課され、実質的に、EU域内で事業を展開できなくなる。Altmanは、後日、この発言を撤回し、欧州議会と協力していくことを確認したが(下の写真)、欧州連合と米国企業の亀裂が露呈した。

出典: Sam Altman

GoogleはAI協定を提案

欧州メディアによると、AlphabetのCEOのSundar Pichai(下の写真)はブリュッセルを訪問し、欧州連合幹部と会談した。Pichaiは、改版されたAI Actの規制条項に対し、独自の方式を示し、規制方針で現実的な合意点を模索している。PichaiはAI協定「AI Pact」を提案し、AI Actが施行されるまでの期間を対象に、AIの運用条件を提示した。AI Pactの内容は明らかになっていないが、AI Actが施行されるまでの期間に、AI開発を進める必要があり、協定に基づいてこれを実行するとしている。

出典: Google

米国ハイテク企業は反発

改訂版AI Actによる生成AIの規制について、米国のハイテク企業は反発を強めている。高度なAIを開発するSalesforceは、AI Actの規制指針は実情にそぐわないと指摘。生成AIは誕生したばかりの技術で、そのメカニズムが明らかになっていない。このため、生成AIを安全に開発運用するための指針や標準技術が確立されていない。準拠すべき基準が無い状態で、AI Actは何を根拠にChatGPTを規制するのか、疑問が呈されている。

米国と欧州の対立の根は深い

ハイテク企業をめぐる規制政策に関し、米国と欧州の間で衝突を繰り返してきた。直近の事例は「EU一般データ保護規則(General Data Protection Regulation、GDPR)」で、欧州員会はMetaなどにプライバシー保護で厳しい規制を課している。現在は、生成AIを中心に、OpenAIやGoogleに厳しい条件を科そうとしている。米国側は、EUは企業のイノベーションを阻害すると主張する。一方、EUは、世界に先駆けて、欧州が消費者の権利を守り、ソーシャルメディアやAIを安全に運用する手本を示していると主張する。

現実的な解を模索する

同時に、米国産業界で、現実的な解決策を探求する動きが始まった。その一つが、AIを段階的に規制する考え方で、市場で議論が広がっている。生成AIに関しては、動作原理が十分理解されておらず、安全な使い方に関し、共通の合意が形成されていない。そのため、これからの研究開発で、危険性を明らかにし、安全に運用するための技術標準化が求められる。これら安全技術の進展に応じ、運用するためのガイドラインを確立し、AI規制法を整備するのが現実的との意見が広がっている。米国市場はEUがAI Actに段階的な規制を組み込むことを期待している。

Googleは開発者会議「Google I/O」を開催し、大規模言語モデルの最新版「PaLM 2」を公表した。これは生成AIで、チャットボット「Bard」のエンジンとして使われる。また、Googleはクラウド経由でPaLM 2を公開し、企業はAPIでこれにアクセスし、独自の生成AIを開発することができる。更に、Googleは次世代の生成AIとして「Gemini」を開発していることを明らかにし、AIで市場をリードする姿勢をアピールした。

出典: Google

最新の言語モデル「PaLM 2」

Googleは大規模言語モデルの最新版「PaLM 2」を発表した(上の写真)。PaLM 2は「PaLM」をベースとし、これを改良したもので、機能が大きく進化し、実行時の処理速度が向上した。具体的には、PaLM 2は三つの分野で際立った特性を示す：

• 多言語に対応：PaLM 2は100を超える言語を処理する機能を持つ。言語を理解する技能は人間のマスターレベルに到達。
• 推論機能が大きく向上：PaLM 2はテキストだけでなく、科学論文や数学などで教育され、その結果、論理的な思考、常識に基づく推論、数学を解く技量が大幅に向上(下のグラフィックス)。
• プログラミング技術の進化：PaLM 2はオープンソースのコードで教育され、Pythonなどでプログラムする機能を習得。この他に、PrologやFortranなど多言語に対応する。

出典: Google

ファウンデーションモデル

PaLM 2はAIのベースとなる「ファウンデーションモデル(Foundation Models)」として位置付けられ、ファウンデーションモデルとはAIの基本形で、様々なアプリケーションで利用される。例えば、PaLM 2はチャットボット「Bard」のエンジンとして使われ、高度な対話機能を提供する。PaLM 2はサイズ別に４つのモデルから構成される(下のグラフィックス)。これらはモデルの規模により分類され、小さいモデルから「Gecko」、「Otter」、「Bison 」、「Unicorn」と命名されている。最小モデルの「Gecko」はスマホで稼働するAIで、PaLM 2を限られた資源で実行できる。

出典: Google

PaLM 2を搭載した製品

PaLM 2は既に、Googleの製品に組み込まれている。その数は25に上り、Googleの事業の骨格を担っている。PaLM 2が実装されている主な製品は：

• チャットボット「Bard」：PaLM 2を搭載したことでBardが多言語に対応する。日本語や韓国語向けのサービスを開始。また、プログラミング機能が格段に向上した。
• ワークプレイス「Workplace」：GmailやGoogle DocsなどのビジネスツールにPaLM 2が実装され、文章を生成する機能などが向上。
• ヘルスケア「Med-PaLM 2」：医療向けに最適化されたPaLM 2で、エキスパート医師のレベルの医療スキルを持つ。
• セキュリティ「Sec-PaLM」：セキュリティ向けに最適化されたPaLM 2で、サイバー攻撃の危険性などを検知するために使われる。
• クラウド「Vertex AI」：Googleは試験的にPaLMをクラウド経由で提供してきたが、PaLM 2を含めこれを一般に公開。PaLM 2のAPIで独自の生成AIを開発できる。

出典: Google

Bardの最新機能

チャットボット「Bard」のエンジンがPaLMからPaLM 2にアップグレードされ、その機能が大幅に向上した。Bardは対話だけでなくプログラミングの機能があり、エンジニアの人気ツールとなっている。PaLM 2を実装することで、プログラミング機能が拡充され、また、多言語に対応できるようになった。開発しているコード入力すると、Bardがそれをデバッグする。その際に、コードにコメントを挿入する機能が登場した。(下の写真、デバッグしたコードに韓国語でコメントを挿入した事例)。

出典: Google

医療向け言語モデル「Med-PaLM 2」

PaLM 2はファウンデーションモデルで、アプリケーションの基盤を構成するが、これを特定の業務ごとに最適化すると高度な機能を発揮する。GoogleはPaLM 2を医療データで再教育し、医療に特化したAIモデル「Med-PaLM 2」を開発した、Med-PaLM 2はエクスパート医師に匹敵するスキルを持ち、患者の治療で利用される。また、Med-PaLM 2はメディカルイメージングを解析する機能があり、問題点を特定するだけでなく、その理由を説明する機能がある。(下の写真、レントゲン写真を解析し、骨折の個所を特定するだけでなく、人間の医師のようにその判定理由を説明する。システムは開発中で写真はそのイメージ。)

出典: Google

クラウド「PaLM API」

PaLM 2は、Googleが製品に組み込むだけでなく、一般ユーザ向けにクラウドで提供される。GoogleはPaLMを試験的にクラウドで提供してきたが、今週から、最新モデルPaLM 2を含め、一般利用者に公開した。これらはAIクラウド「Vertex AI」の新機能として実装され、PaLM APIでモデルを利用する(下の写真)。企業はこのAPIを使ってPaLM 2の機能にアクセスする。また、企業はPaLM 2を独自のデータで教育し、業務に最適なモデルを生成できる。

出典: Google

次世代モデル「Gemini」

OpenAIがChatGPTを公開し米国社会でAIの普及が劇的に進んだ。MicrosoftはGPT-4を組み込んだ製品を相次いでリリースし、GoogleとのAI開発競争が始まった。GoogleはBardやPaLMを開発してきたが、その成果は一般には公開されなかった。しかし、Googleは開発者会議で、最新のAIを製品に統合し、その機能を一般にリリースする戦略を明らかにした。更に、PaLM 2の次のモデルとして「Gemini」を開発していることを公表し(下の写真)、GoogleはAI市場でトップの座を維持する姿勢を鮮明にした。

出典: Google