バイデン政権は大統領令で開発企業に製品出荷前に生成AIの安全を確認することを求めた。研究者グループは、この規定に従ってモデルを試験し、危険性を排除した生成AI「Aurora-M」を開発した。大統領令が適用されるのは次世代の生成AIであるが、研究グループはこれに先行し、Red-Teamingの手法で危険性を検知し、極めて安全なモデルを開発した。Aurora-Mはオープンソースとして公開され、セキュアなモデルを開発するための研究で利用される。

Aurora-Mとは

Aurora-Mはオープンソースの大規模言語モデル「StarCoderPlus」をベースとするモデルで、研究者で構成される国際コンソーシアムが開発した。Aurora-Mは大統領令で規定された条件に準拠して、StarCoderPlusの脆弱性を補強する手法で開発された。また、StarCoderPlusを多言語で教育することで、Aurora-Mはマルチリンガルな生成AIとなった。

大統領令で定める安全基準

バイデン政権は2023年10月、大統領令「Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence」を発行し、大規模言語モデルを安全に開発し運用することを規定した(下の写真)。開発企業に対しては、大規模言語モデルが社会に危険性をもたらすことを抑止するため、製品出荷前に安全試験を実施することを求めた。対象となるモデルは、デュアルユースの生成AIで、次世代モデル(GPT-5などこれからリリースされる大規模言語モデル)が対象となる。

大統領令の規制内容

大統領令は契約書のように企業や団体が準拠すべき義務を詳細に規定している。これによると、開発企業は「Red-Teaming」の手法でAIシステムの問題点や脆弱性を検知し、それを修正することを求めている。開発者が攻撃団体となり、AIシステムを攻撃して、問題点や脆弱性を洗い出す。具体的には、AIシステムが生成する有害なコンテンツや、AIシステムの予期できない挙動や、AIシステムが悪用された時のリスクを検証する。特に、セキュリティや国家経済や社会の安全性に及ぼすリスクを低減することを目的とし、下記のリスクを重点的に検証することを求めている：

• CBRN兵器：AIシステムで化学・生物・放射線・核兵器を開発するリスク
• サイバー攻撃：AIシステムで攻撃対象システムの脆弱性を検知するリスク
• 人間の制御を逃れる：AIシステムが目的を達成するため人間を騙し制御をすり抜けるリスク

Red-Teamingとは

Red-Teamingとは、AIモデルの問題点や脆弱性を検証する手法で、開発チームが攻撃グループ「Red Team」と防御グループ「Blue Team」に分かれて実施する(下の写真)。言語モデルに関しては、攻撃グループがAIシステムに有害なプロンプトを入力し、モデルが本来の仕様とは異なる挙動をすることを誘発する。これにより、AIシステムが核兵器を生成するための手引書を出力するなど、危険な挙動を導き出す。この情報を元に、防御グループがAIシステムのアルゴリズムを最適化し、危険性を抑制する対策を施す。

モデル攻撃のためのプロンプトとモデルの再教育

Red-TeamingではAIシステムを誤作動させるため、多種多様なプロンプトを入力して、モデルの脆弱性を検証する。AIシステムは攻撃用のプロンプトに対し、危険な情報を出力するが、この結果を人間がレビューして、これらをモデルの再教育で利用し安全な回答の仕方を教える。例えば、爆弾の製造方法を問われたら、回答できないと答えるが、Minecraftゲームに関する質問では、爆弾の作り方を教えてもよいと、AIシステムを再教育する(下の写真)。このケースでは数千の再教育データが使われ、大統領令で規定された項目に準拠するAIシステムを作り上げた。

今年から安全試験が始まる

大統領令の規定によると、出荷前に安全試験を義務付けられるのは一定規模を超える言語モデルで、現行製品は対象外で、次世代の大規模モデルからこの規定が適用される。Aurora-Mは対象外で事前試験の義務はないが、安全なシステムを開発するためこの規定に準拠した。Aurora-Mは大統領令が施行される前にこれを実施し、安全なシステムのモデルケースとなる。今年は、OpenAIからGPT-5がリリースされ、大統領令で規定された安全試験が実施されることになる。

アメリカ政府と欧州連合は4月5日、通商とテクノロジーに関し共同声明を発表した。両者はAIや量子コンピュータや６Gなど先端技術の開発を促進し、世界をリードすることを宣言した。AIに関しては安全なモデルを開発するために、リスクベースのアプローチを取ることを再確認した。更に、両者のAIセーフティ部門間に対話のチャネルを設け、情報交換などを促進することを決定した。

共同声明の背景

アメリカ政府と欧州連合(European Union、EU)は経済とテクノロジーの振興を目的に、通商技術委員会「EU-US Trade and Technology Council(TTC)」を設立している。TTCはグローバルな経済圏の急変や先端技術の急伸など、環境の変化に対応し、両者間で経済・技術協力を進めるために設立された。特に、中国の技術進化を念頭に、両者で協調して経済や技術の成長を促進する。技術分野では、AIや量子コンピュータや６Gなどを対象に、提携を深め技術開発を促進する。

共同声明の内容

共同声明はベルギーで開催された第六次TTC委員会「Sixth U.S.-EU Trade and Technology Council」(上の写真)で発表された。米国国務長官Antony Blinken(左端の人物)らが共同議長を務めた。共同声明は経済と技術に関し、幅広い分野をカバーしているが、テクノロジーに関しては先進分野で市場をリードすることを宣言した。米国側はホワイトハウスが共同声明をリリースした(下の写真)。テクノロジーに関する声明の概要は：

• AI：リスクベースの方式でAIモデルを開発することを再確認。両者間で対話のチャネルを開設し情報交換
• 量子コンピュータ：タスクフォースを開設し科学技術開発で協調
• ６G：次世代無線通信技術に関する基礎研究を共同で展開
• 半導体：両者間で強靭な半導体供給網を設立
• バイオテクノロジー：メリットとリスクを理解して研究開発を推進
• 技術標準化：EV充電ステーションなど重要技術の標準化を推進

AIに関する安全技術

AIに関してはモデルを安全に開発運用するための様々な提言が盛り込まれた。また、米国とEUは独自にAIの安全技術を開発しているが、共通の安全規格を制定することを提唱している。AIに関する共同声明の概要：

• 安全で信頼できるAIを開発するためにリスクベースの手法を取る
• 安全性に関し多国間(G7, OECD, G20, Council of Europe, UN)で協調する
• 両者のAI安全組織(米国 = AI Safety InstituteとEU = European AI Office)の間で対話のチャネルを開設
• AIのリスクを査定・検証する技法の開発に関しロードマップを策定

リスクベースの手法とは

安全なAIモデルを開発運用するために、様々な手法が提唱されているが、「リスクベースの手法(Risk-based Approach)」が注目されている。この手法は、AIの開発運用を統制する際に、AIモデルが個人や社会に及ぼす危険性を把握し、その度合いに応じて対処法を決めるメカニズムとなる。危険度が大きいAIモデルに対しては、その運用を厳しく規制するなどの処置を取る。欧州連合の「AI規制法(AI Act)」がリスクベースの手法を導入しており(下の写真)、この方式が世界の主流になりつつある。米国政府もリスクベースの手法でAIの開発運用に関するフレームワークを制定した。

AIのリスクを査定・検証する技法

米国とEUは、信頼できるAIを開発するために、リスクを管理する技法を独自に制定しているが、これを統合し共通のフレームワークを構築することに合意し、これに向かったロードマップを公開している。ロードマップはAIの安全技術に関し、両者で共通の基盤を構築することに加え、国際標準規格を制定することを規定している。これに従って、両者はアクションプランを定め、これに向けた活動を展開している。短期的には、ワーキンググループを設立し、用語を統一し、安全規格の検証などが規定されている。

米国とEUのAI規制の互換性 米国とEUはリスクベースの手法を採用することでは一致しているが、それを実施する方式では異なる規制を導入している。EUはAI ActとしてAIを安全に開発運用することを法律で義務付けた。これに対し、米国政府はAIのリスク管理フレームワークを公開し、企業が自律的に安全対策を実行する。共同声明は、AIのリスクを査定・検証する技法の開発に関しロードマップを策定することを提言しており、両者で共通の安全規格を制定する活動が進むと期待されている。

アメリカ政府はイギリス政府と生成AIの安全性に関する共同研究を実施することで合意した。合意内容は生成AIの安全性を検査する技法の確定などで、安全規格の標準化を両国が共同で推進する体制となる。アメリカ政府はAIコンソーシアムを設立し、民間企業200社が加盟し、政府と共同でAIモデルの安全技術の確立を進めている。今回の合意で、この活動をイギリス政府と共同で進めることとなる。

アメリカ政府とイギリス政府が覚書に調印

ワシントンにおいて4月1日、アメリカ商務省長官Gina Raimondo(上の写真左側)とイギリス科学・イノベーション・技術大臣Michelle Donelan(右側)が覚書に証明し、AIモデルの安全性を検査する技術を共同で開発することに合意した。これは、昨年11月にイギリスで開催されたAIセーフティサミット「AI Safety Summit」の合意事項に基づくもので、両国は生成AIの開発を安全に進めることを確認した。特に両政府は、生成AIを悪用したサイバー攻撃や生物兵器の開発など、国家安全保障を揺るがす危険性を懸念しており、次世代モデルを安全に開発運用する技術を共同で開発する。

合意の内容

アメリカ商務省はイギリス政府とAI安全技術の開発で合意したことをニュースリリースで公表した(下の写真)。これによると、両国はAIモデルやAIシステムやAIエージェントの安全性を評価する技術を共同で開発する。両国は独自の手法でAIの安全性を査定する技術を開発しているが、この情報を共有し、共通の検査基準を確立する。また、両国は公開されている生成AIモデルを使い、実際に安全試験を実施しその成果を検証する。

両国が世界のリーダーとなる

この合意は即日実施され両国で技術開発を進める。生成AIの開発のペースは急で、これに追随するためには、安全技術の開発を急ピッチで進める必要がある。Gina Raimondoは、生成AIは高度な機能を提供するものの、その危険性は甚大であり、両国は率先してこの問題を解決するための技術開発を進めると述べている。AIモデルの理解を深め、検証技術を確立し、安全性を担保するためのガイドラインを公開する。

アメリカ政府のAI安全性政策

アメリカ政府は既に、AIの安全性を検証するための組織「AI Safety Institute」を設立している。これは商務省配下の部門で、生成AIの最新モデル「Frontier Models」のリスクを査定することをミッションとしている。AI Safety Instituteは生成AIモデルを検査しその危険性を把握する技術の確立を担う。具体的には：

• AIモデルの安全性・セキュリティ・検証試験に関する標準技術の確立
• AIが生成したコンテンツを特定する標準技術の開発
• 生成AIを試験するプラットフォームの開発

政府と民間企業のコンソーシアム

アメリカ政府は2024年2月、AI安全性のコンソーシアム「AI Safety Institute Consortium (AISIC)」を設立した(下の写真)。コンソーシアムは商務省と民間企業で構成され、生成AIを安全に開発運用する技術を確立する。コンソーシアムには、GoogleやMicrosoftなどAI開発企業がメンバーとなっている。更に、BPやNorthrop Grummanなど、AIを運用する企業も加盟している。AIを安全に運用するための標準手法を制定することがミッションで、具体的には次のタスクから構成される：

• AIモデルの危険性検査(Red-Teaming)
• AIモデルの機能の評価(Capability Evaluations)
• リスクを管理する手法(Risk Management)
• 安全性とセキュリティ(Safety and Security)
• 生成コンテンツのウォーターマーキング(Watermarking)

イギリス政府の体制

イギリス政府は2023年11月、AIの安全性を検証する組織「AI Safety Institute」を設立している。この協定は両国の「AI Safety Institute」が共同で生成AIの安全技術の標準化を進めることを規定している。今回の合意は、イギリスで開催されたAIセーフティサミット「AI Safety Summit」(下の写真)の決議に基づくもので、両国が生成AIの安全技術で世界をリードする。

アメリカ・イギリスとEUの関係

生成AIに関する安全規格の制定で、アメリカとイギリスが提携することで、世界で二つの陣営が生まれることになる。EUはAIに関する法令「AI Act」を制定し、今年から運用が始まる。AI Actは法令によりAIを安全に開発運用することを義務付ける。生成AIに関してはモデルの概要や教育データに関する情報の開示が求められる。これに対しアメリカ・イギリス陣営は、法令でAIの安全性を義務付けるのではなく、モデルの安全検査を施行するための標準技術を制定する。開発企業はこの規格に沿って安全検査を自主的に実施する。世界で二つの方式が存在することになり、今後、両陣営で調整が行われるのか注視していく必要がある。

Nvidiaは3月18日、開発者会議「GTC 2024」でヒューマノイドロボットの開発プロジェクト「GR00T」を公開した。ヒューマノイドロボットに生成AIを統合し、人間のようなインテリジェンスを持ち、汎用的に稼働するモデルを創り出す。ヒューマノイドロボットのファウンデーションモデルとなり、ロボット開発におけるコア技術を提供する。開発企業はこのプラットフォームを使って独自のヒューマノイドロボットを生成する。

ヒューマノイドロボットの開発

ヒューマノイドロボット(Humanoid Robot)は、人間の形状を模したロボットで「人型ロボット」と呼ばれる。開発者会議の基調講演で、CEOのJansen Huangは、ヒューマノイドロボットの最新技術について解説した(下の写真)。基調講演はビデオでストリーミングされた。Nvidiaがこのモデルに着目する理由は、社会インフラは人間に合わせて造られており、人型ロボットはここで環境を変更することなく、そのまま活躍できるためである。また、生成AIを搭載することにより、ロボットの学習能力が格段に向上し、人間のように汎用的に動けるモデルを生み出すことがゴールとなる。

ロボット開発状況

プロジェクトは「Generalist Robot 00 Technology (RT00T)」と呼ばれ、汎用的に稼働するヒューマノイドロボットを研究開発する。ロボットは汎用基礎モデル(General-Purpose Foundation Model)となり、シミュレーション環境と実社会で学習し、短時間でスキルを習得する。ChatGPTなどが言語に関する基礎モデルであるのに対し、GR00Tは人型ロボットに関する基礎モデルとなる。研究所では多種類のモデルが開発されている(下の写真)。

ロボットを教育する手法

ロボット開発ではシミュレーション環境「Issac Sim」にヒューマノイドのデジタルツインが生成され、この仮想空間でスキルを習得した。ロボットは仮想社会で階段やでこぼこ道で歩行訓練を行い、スキルを学習した(下の写真)。更に、ロボットは開発環境「Isaac Lab」でアルゴリズム教育が実施された。Isaac Labは高度なAIを搭載するロボットの開発環境で、特に強化学習(Reinforcement Learning)のアルゴリズムを教育する環境となる。この他に、模倣学習(Imitation Learning)や転移学習(Transfer Learning)などの手法でロボットはスキルを獲得した。

模倣学習のケース

実際に、ロボットは人間の動作を見てそれを真似る、模倣学習の手法で成果を上げている。人間が動作の手本を示し、ロボットはそれを見て真似ることでスキルを学習する。ロボットが人間のドラマーのプレーを見て、ドラムを演奏するヒューマノイドが紹介された。これはヒューマノイドロボット「Sanctuary AI」の事例で、人間向けに造られた楽器をロボットが演奏した。

ヒューマノイドロボット開発企業

Nvidiaは自社でヒューマノイドロボットを開発するのではなく、その開発環境を提供し、パートナー企業がこの基盤で製品を開発する。基調講演では開発中のヒューマノイドロボットが表示され、エコシステムの広さをアピールした。(下の写真、現在開発中のヒューマノイドロボット、左から、Figure AI、Unitree Robotics、Apptronik、Agility Robotics、(Jensen Huang)、Sanctuary AI、1X Technologies、Fourier Intelligence、Boston Dynamics、XPENG Robotics)。

ロボットと生成AIとの融合

ヒューマノイドロボットがホットな研究テーマになっている。OpenAIはFigure AIに出資し、共同でヒューマノイドロボットの開発を進めている。ロボットに大規模言語モデルを組み込み、人間のようなインテリジェンスを得る。Agility Roboticsの「Digit」は、配送センターで人間の作業員に代わり荷物を搬送する (下の写真、Digitがオーブンからトレイを取り出している様子)。一方、Teslaのヒューマノイドロボット「Optimus」はステージに登場せず、独自方式でモデルを開発している。ヒューマノイドロボットが生成AIと融合し、インテリジェンスが劇的に進化すると期待されている。