Demis HassabisはAGIクラスのAIモデルのリスクを制御するフレームワークを提唱、米国政府が主導する標準化機構を設立し製品出荷前に安全試験を実施

Google DeepMindのCEOであるDemis Hassabisは「A Framework for Frontier AI and the Dawning of a New Age」と題するAGI時代のリスク管理フレームワーク構想を公開した。この構想はAGIが数年以内にリリースされることを念頭に、AIモデルのリスクを評価するための標準化機構を米国政府主導のもとに設立し、製品出荷前に安全試験を実施する。人間が制御できない重大な危険性が確認されたら、開発を停止するとしている。米国企業だけでなく、全世界のAI開発企業を対象とする。

出典: Demis Hassabis

提言の概要

Hassabisの提言の核心部分は米国政府が主導する標準化機構「Frontier AI Standards Body」を設立することにある。標準化機構はAGIクラスのAIモデルをベンチマークして、そのリスクを査定することにある。当初は、政府の管轄の元、民間団体による自主的な組織とし、トライアルでその機能を検証する。その後、公式な機構とし、AI開発企業に製品出荷前にAIモデルの安全性の試験を義務付ける。

AGIクラスの危険性

HassabisはAGIクラスのAIモデルは大きなリスクを内包していると考える。AI開発競争が白熱し各企業は開発のペースを上げ、エンジニアがモデルの挙動を理解できないまま開発が進んでいる。これによりAGIクラスのモデルが危険な挙動を示す：

  • CBRN (Chemical, Biological, Radiological, and Nuclear)：AIが兵器を開発
  • Deception：AIエージェントが実行の意図を隠しモデル評価を偽造する
  • Guardrail：AIが安全機構を突破するスキルを獲得する
  • Loss of control：高度な知能を持つAIを人間が制御できなくなる
  • Unknown risks：モデルが高度になり新しい危険性が生まれる

標準化機構とは

標準化機構「Frontier AI Standards Body」は「Financial Industry Regulatory Authority (FINRA)」をモデルにしている。FINRAとは米国の証券業界の自主規制機関で、証券市場における投資家の保護や市場の透明性の確保を目的として設立された。AI標準化機構はこのアイディアをAI開発に取り入れたもので、AI企業のAI技術に関する知見と政府の監督機能を組み合わせた独立組織となる。(下のイメージ)

出典: Generated with Google Gemini 3.6 Flash

トライアルフェイズ

標準化機構は開始当初は自主的な組織として位置付け、加盟企業は製品を出荷する30日前にAIモデルを提出し、その安全性を評価する。対象項目は、CBRNの他に、エージェントとしての自立機能、ガードレールを迂回する機能、モデルが内包する脆弱性などで、これらの機能がベンチマークされる。

実行フェイズ

ベンチマークテスト結果や試験プロセスがデザイン通り稼働することを確認した後で、実行フェイズに進む。企業は製品を出荷する前に安全試験をクリアすることが義務付けられる。Hassabisの構想によると、対象は米国市場に展開するAIモデルで、米国モデルだけでなく海外モデルを含む。また、クローズドソースだけでなくオープンソースを含み、開発者は米国人だけでなく外国人を含む。

AGIクラスの定義

AGIクラスのAIモデルを如何に定義するかで議論が続いている。従来は、AIモデルを開発するために要したプロセッサの計算量でモデルのクラスを定義してきた。Hassabisの提案ではクラスを認定するためのベンチマークテストを開発し、これによりAGIクラスを定義する。具体的には、高度なリスクを測定するためのベンチマークテストを開発し、この試験結果でモデルのクラスを定義する。モデルの進化は急速で、ベンチマークテストを定期的にアップデートする必要がある。また、モデルの進化で新たな危険性が発現した際は、このリスク要因をベンチマークテストに反映する。

出典: Generated with Google Gemini 3.6 Flash

グローバルスタンダード

Hassabisは米国が主導でこのフレームワークを導入し、その後、グローバルに展開する構想を描いている。主要AI開発企業は米国に集中しており、短期的には、米国主導でプロジェクトを進める。長期的には、国際的なコーディネーションを進め、海外のAI企業の参画を求める。グローバルにAGIクラスのAIモデルを査定するベンチマークテストを導入する。当初は米国が主導するが、長期的には国際間でフレームワークを構築する。

AGIの社会へのインパクト

HassabisはAGIクラスの技術的なリスクを査定することを提言しているが、同時に、AGIの社会へのインパクトは甚大で、これらのソーシャル・リスクを如何にコントロールするかが重大な課題となると述べている。最大の課題は失業問題で、AGI時代の雇用体制を整備する必要がある。また、AGIで膨大な富が一部の企業に集中し、テクノロジー進化で生成される利益を公平に分配する仕組みの構築が検討課題となる。(上のイメージ)

トランプ政権との協議

米国のメディアはHassabisの提言をポジティブに受け止めており、連邦政府に標準化機構の設立を求めている点を評価している。また、HassabisはAGIクラスの安全性に関するコンセプトを具体的なフレームワークとして提言していることに注目が集まっている。Hassabisは既にトランプ政権と協議を進めているとも報道されており、米国政府のAI政策が大きく変わるのか、その進展を注視する必要がある。