今週、OpenAIとAnthropicは相次いで、米国政府と共同でフロンティアモデルの安全試験を実施したことを公表した。また両社は、英国政府と連携し安全試験を実施したことを併せて公表した。トランプ政権は「AIアクションプラン」を公開し、AI技術開発を推進する政策を明らかにし、同時に、米国省庁にAIモデルを評価しリスクを明らかにすることを要請した。OpenAIとAnthropicは米国政府との共同試験で、評価技法やその結果を公開し、米国におけるAIセーフティフ体制のテンプレートを示した。

米国政府のAI評価体制

トランプ政権はAI開発を推進しリスクを評価する部門として「Center for AI Standards & Innovation (CAISI)」を設立した。これは国立標準技術研究所(NIST)配下の組織で、AIモデルのイノベーションを推進し、フロンティアモデルを評価することを主要な任務とする。CAISIはOpenAIとAnthropicと共同で安全評価プログラムを実施しその成果を公開した。バイデン政権では「AI Safety Institute (AISI)」がAIモデルの安全評価技術開発を推進してきたが、CAISIはこれを引き継ぎ、AI評価標準技術の開発と標準化を目指す。

安全評価の手法

CAISIの主要ミッションは、民間企業が開発しているフロンティアモデルの安全評価を実施し、そのリスクを査定することにある。OpenAIとAnthropicはこのプログラムで、CAISIが評価作業を実行するために、AIモデルへのアクセスを許諾し、また、評価で必要となるツールや内部資料を提供した。CAISIはこれに基づき評価作業を実施し、その結果を各社と共有した。実際に、CAISIの評価により新たなリスクが明らかになり、OpenAIとAnthropicはこれを修正する作業を実施した。

OpenAIの評価：AIエージェント

OpenAIのフロンティアモデルでは、「ChatGPT Agent」と「GPT-5」を対象に、評価が実施された。CAISIはこれらモデルのAIエージェント機能を評価しそのリスク評価を解析した。その結果、AIエージェントはハイジャックされるリスクがあり、遠隔で操作されるという問題が明らかになった。一方、英国政府はAIモデルの生物兵器製造に関するリスクを評価し、数多くの脆弱性を明らかにした。

Anthropicの評価：ジェイルブレイク

一方、Anthropicの評価ではフロンティアモデル「Claude」と安全ガードレール「Constitutional Classifiers」を対象とした。これらのモデルに対しRed-Teamingという手法でサイバー攻撃を実施し、その結果、汎用的なジェイルブレイク攻撃「Universal Jailbreaks」に対する脆弱性が明らかになった。Anthropicはこの結果を受けて、モデルのアーキテクチャを改変する大幅な修正を実施した。

安全試験のひな型

これらの安全評価はCAISIの最初の成果で、民間企業と共同で試験を実施するモデルが示された。AIアクションプランは米国政府機関に対しアクションアイテムを定めているが、民間企業を規定するものではない。OpenAIとAnthropicは自主的にこのプログラムに参加し安全試験を実施した。また、両社はフロンティアモデルを出荷する前に、また、出荷した後も継続的に安全試験を実施するとしており、この試みが米国政府におけるAIセーフティのテンプレートとなる。

評価技法の標準化

一方、安全評価におけるスコープは両者で異なり、フロンティアモデルの異なる側面を評価した形となった。OpenAIはフロンティアモデルのエージェント機能を評価し、Anthropicはジェイルブレイク攻撃への耐性を評価した。このため、二つのモデルの検証結果を比較することは難しく、統一した評価技法の設立が求めらる。CAISIのミッションの一つが評価技法の開発と国家安全保障に関連するリスク評価で、評価技術の確定と技術の標準化が次のステップとなる。

米国と英国のコラボレーション

OpenAIとAnthropicは英国政府「UK AISI」と提携して安全試験を実施しており、米英両国間でAIセーフティに関するコラボレーションが進んでいる。CAISIとUK AISIは政府レベルで評価科学「Evaluation Science」の開発を進めており、両国で共通の評価技術の確立を目指している。一方、欧州連合(EU)はAI規制違法「EU AI Act」を施行し、独自の安全評価基準を設定しており、米国・英国とEU間で安全性に関する基準が異なる。EUとの評価基準の互換性を確立することがCAISIの次のミッションとなる。

トランプ政権のセーフティ体制

これに先立ち、OpenAIは米国政府と英国政府が監査機関となり、AIモデルの安全評価試験を実施することを提唱している。米国政府ではCAISIが、また、英国政府ではUK AISICがこの役割を担うことを推奨した。今回の試みはこの提言に沿ったもので、米国と英国でAIモデル評価のフレームワークが整いつつある。バイデン政権では政府主導でセーフティ体制が制定されたが、トランプ政権では政府と民間が協調してこの枠組みを構築するアプローチとなる。

OpenAIとAnthropicは今週、お互いのAIモデルのアラインメント評価試験を実施した。奇抜な試みで、OpenAIはAnthropicのAIモデルを独自の手法で評価し、アルゴリズムが内包するリスクを洗い出した。Anthropicも同様に、OpenAIのAIモデルの安全評価を実施し、両社はその結果を公開した。このトライアルは監査機関がAIモデルの安全性を評価するプロセスを示したもので、フロンティアモデルの安全評価のテンプレートとなる。OpenAIは米国政府と英国政府に対し、両政府が監査機関として次世代AIモデルを評価し、その結果を公開することを提言した。

アラインメント評価とは

AIモデルが設計仕様と異なる挙動を示すことは一般に「ミスアラインメント(Misalignment)」と呼ばれる。OpenAIとAnthropicは、お互いのAIモデルを評価し、ミスアラインメントが発生するイベントを評価し、その結果を一般に公開した。アラインメント評価技法は両社で異なり、それぞれが独自の手法でAIモデルが内包するリスク要因を解析した。

対象モデル

OpenAIはAnthropicのAIモデルを、AnthropicはOpenAIのモデルを評価した(下の写真、イメージ)。評価したそれぞれのモデルは次の通りで、フラッグシップモデルが対象となった：

• OpenAIが評価したモデル：AnthropicのAIモデル(Claude Opus 4、Sonnet 4)
• Anthropicが評価したモデル：OpenAIのAIモデル(GPT-4o、GPT-4.1、o3、o4-mini)

OpenAIの評価結果

OpenAIはAnthropicのAIモデルの基本機能を評価した。これは「システム・アラインメント(System Alignment)」とも呼ばれ、命令のプライオリティ、ジェイルブレイクへの耐性、ハルシネーションなどを評価する。命令のプライオリティとは「Instruction Hierarchy」と呼ばれ、AIモデルを制御する命令の優先順序を設定する仕組みで、サイバー攻撃を防ぐための手法として使われる。実際の試験では、システムプロンプトからパスワードを盗み出す攻撃を防御する能力が試験された。試験結果は、AnthropicのOpus 4とSonnet 4、及び、OpenAI o3は全ての攻撃を防御したことが示された(下のグラフ)。

Anthropicの評価結果

一方、AnthropicはAIモデルのエージェント機能を検証した。これは「Agentic Misalignment」と呼ばれ、AIエージェントが設計仕様通り稼働しないリスク要因を評価した。具体的には、AIモデルが悪用されるリスク、AIモデルが人間を恐喝するリスク、AIモデルがガードレールを迂回するリスクなどが評価された。AIモデルが悪用されるリスクの評価では、テロリストがAIモデルを悪用して兵器(CNRN)を開発するなど危険な行為を防ぐ機能が評価された。その結果、OpenAI o3とAnthropic Claude Sonnet 4は悪用の95％のケースを防御することが示された(下のグラフ)。

Anthropicによる総合評価

Anthropicの試験結果を統合するとAIモデルのアラインメントの特性が明らかになった(下の写真)。両社とも推論モデル(OpenAI o3/o4-mini、Anthropic Opus/Sonnet)はジェイルブレイクなどのサイバー攻撃を防御する能力が高いことが示された。一方、両社のモデルを比較すると、Anthropicはサイバー攻撃への耐性が高いが、プロンプトへの回答回避率が高いという弱点を示し、セーフティを重視した設計となっている。OpenAIはこれと対照的に、サイバー攻撃への耐性は比較的に低いが、プロンプトへの回答回避率は低く、実用的なデザインとなっている。

アラインメント試験技術の標準化

OpenAIとAnthropicはそれぞれ独自の手法でアラインメント試験を実施し、その結果として二つのベンチマーク結果を公表した。評価手法が異なるため、二社の評価をそのまま比較することができず、どのモデルが安全であるかを把握するのが難しい。このため両社は、アラインメント試験の技法を標準化し、単一の基準でAIモデルを評価する仕組みを提唱した。これは「Evaluation Scaffolding」と呼ばれ、政府主導の下でこの研究開発を進める必要性を強調した。

政府が監査機関となる

更に、OpenAIは米国政府と英国政府が公式の監査機関となり、AIモデルのアラインメント試験を実施することを提唱した。具体的には、米国政府では「Center for AI Standards and Innovation (CAISI)」(下の写真、イメージ)が、また、英国政府では「AI Safety Institute Consortium (AISIC)」がこの役割を担うことを推奨した。両組織は政府配下でAIセーフティ技術を開発することをミッションとしており、AIモデルのアラインメント試験を実施するためのスキルや人材を有している。

政府と民間のコンソーシアム

米国政府は民間企業とAIセーフティに関するコンソーシアム「AI Safety Institute Consortium」を発足し、AIモデルの安全評価に関する技術開発を共同で推進している。また、トランプ政権では、CAISIのミッションを、サイバーセキュリティやバイオセキュリティなどを対象に、リスクを評価することと定めている。アラインメント試験においては、企業がAI製品を出荷する前に、CAISIで安全試験を実施するプロセスが検討されている。

緩やかな規制を提唱

トランプ政権ではAI規制を緩和しイノベーションを推進する政策を取っており、アラインメント試験については公式なルールは設定されていない。このため、OpenAIやAnthropicは、セーフティ試験に関する枠組みを提唱する。安全試験はCAISIなど政府機関が実施し、民間企業は試験に必要なパッケージ「Evaluable Release Pack」を提供するなどの案が示されている。高度なAIモデルの開発が進み、OpenAIやAnthropicは政府に対し、緩やかな規制を施行することを求めている。