カテゴリー別アーカイブ: トランプ大統領

トランプ大統領は”AIアポロ計画”を創設、エネルギー省のスパコンで先端AIを開発しバイオテックや核融合研究を加速させる

トランプ大統領は11月24日、高度なAIをサイエンス分野に適用し、バイオテックや核融合などの基礎研究を加速させる構想「Genesis Mission(ジェネシス・ミッション)」を明らかにした。これはアポロ計画の構想をAIに適用したもので、サイエンス分野で新発見を生み出しブレークスルーを起こすことを使命とする。米国エネルギー省が運営しているスーパーコンピューターを統合し、ここで科学に特化したAIモデルを開発する。中国は国家プロジェクトとして科学基礎研究を推し進め、そのレベルが米国に肉薄している。トランプ政権はジェネシス・ミッションで高度なAIを生成し、科学分野でリーダーの地位を固めることを目論む。

出典: Generated with Google Gemini 3 Pro Image

ジェネシス・ミッションとは

ジェネシス・ミッション」は大統領令で規定されイニシアティブで、科学的な発見や技術イノベーションを加速することを目的とする。このための基盤技術としてサイエンスに特化したAIを開発し、AIエージェントが共同研究者となりブレークスルーを目指す。ジェネシス・ミッションは1960年代のアポロ計画と対比され、科学技術の進化を政府が後押しし、世界における覇権を維持するとともに、米国の経済発展を支えるインフラを構築する。

プロジェクト構成

ジェネシス・ミッションはエネルギー省(Department of Energy)が主導するプロジェクトで、科学技術政策局(Office of Science and Technology Policy)が事務局となり省庁間のコーディネーションを司る。このプロジェクトはエネルギー省に設置されているスーパーコンピューターを使い、科学技術研究開発に特化したAIエージェントを開発する。AIエージェントが研究者のアシスタントとなり、研究プロセスを自動化し開発速度を加速する。(下の写真、ローレンスリバモア研究所に設置されている世界最高速のスーパーコンピューター「El Capitan」)

出典: Lawrence Livermore National Laboratory

プラットフォーム

大統領令はこのミッションを支えるプラットフォーム「American Science and Security Platform」を構築することを求めている。プラットフォームはスーパーコンピューターやAIエージェントなどから構成され、科学基礎研究のエンジン「Scientific Discovery Engine」を支える(下の写真)。プラットフォームの構成要素は:

  • スパコン:エネルギー省は多数のスーパーコンピューターを運営しており、ここでサイエンス向けのAIモデルやAIエージェントを開発する
  • AIエージェント:AIエージェントは共同研究者となり科学研究のプロセスを自動化する。AIエージェントが研究テーマを検索し、研究成果を評価し、研究プロセスを自動化する
  • AIファウンデーションモデル:科学研究に特化したAIファウンデーションモデルを開発する。バイオテックや核融合に最適化されたモデルが生み出される
  • データ:エネルギー省が保有している大量のデータをAI開発向けに公開する。AIファウンデーションモデルはこれらのデータを使って教育される
  • ロボティックス:新たな挑戦としてロボットを科学技術研究に導入する。AIエージェントがデザインしたプロジェクトをロボットが実験室で実行する。この試みは「Robotic Laboratories」と呼ばれ、研究者に代わりロボットが実験を代行する
出典: Generated with Google Gemini 3 Pro Image

タイムライン

大統領令はプロジェクトのアクションアイテムとその完了日を規定している。270日以内にプロトタイプを構築する計画で、主なマイルストーンは:

  • 90日以内:プラットフォームを構成するコンピュータ、ストレージ、ネットワークを特定する。また、民間からパートナー企業を選定する
  • 120日以内:AI教育で利用するデータセットを選定する
  • 240日以内:ロボット研究室を設立するための技術要件を評価する
  • 270日以内:プラットフォームのプロトタイプ(“Initial Operating Capability)のデモを実施する

サイエンスの重点領域

ジェネシス・ミッションはサイエンスにおける基礎研究をAIエージェントで加速することを使命とする。大統領令は対象領域を規定しており、バイオテック、核エネルギー(核分裂と核融合)、宇宙探査、量子情報科学、物質科学、半導体の分野で基礎研究を加速させる。これらの領域で、AIエージェントが科学者と共同で研究を進め、シミュレーションや研究成果評価の過程を自動化する。実際に、AIモデルは核融合の研究開発の必須要件で、Google DeepMindは核融合ベンチャー「Commonwealth Fusion Systems」と共同でトカマク型(Tokamak)核融合炉の開発を進めている(下の写真)。

出典: Google DeepMind

ミッションへの期待と限界

ジェネシス・ミッションは科学技術発展に大きく寄与すると期待されている。一方、ミッションは大統領令で規定されたプロジェクトで、政権の権限が及ぶ範囲が限定される。予算に関しては連邦議会が権限を持ち、ジェネシス・ミッションは設定された予算内で進められる。具体的には、現行予算や研究者を再配分してプロジェクトを進めることになる。エネルギー省の限られた予算と研究者でどれだけの成果を得ることができるのかが最大の課題となる。

出典: Generated with Google Gemini 3 Pro Image 

AIアポロ計画

トランプ政権はジェネシス・ミッションをAI世代のアポロ計画と呼ぶ(上の写真、イメージ)。停滞しているサイエンス基礎研究を推し進める起爆剤として位置付ける。アポロ計画は、米国と旧ソビエト連邦の冷戦の中で、宇宙開発における覇権を目指す構図となった。ジェネシス・ミッションは、米国と中国でし烈なAIレースが進む中で、安全保障の観点から科学技術を加速させ、サイエンス分野で世界の覇権を握ることを使命とする。

Anthropicとトランプ政権のバトル!! 企業側はAI規制を求め政権側は自由な開発を促進、AI規制緩和が進む中Anthropicは重大な懸念を表明

AIフロンティアモデルを開発しているAnthropicはトランプ政権に対し、AI製品を出荷する前に、政府が試験を実施し安全性を確認することを提唱した。一方、政権側はAI基本指針「AIアクションプラン」に基づき、AI規制を緩和し開発を促進する政策を取る。AnthropicはAI規制緩和に重大な懸念を表明し政府に対策を求めた。政府側はAnthropicが過度に危機感を煽っていると解釈し、両者でAI政策を巡るバトルが勃発した。

出典: Generated with Google Gemini 3 Pro Image

Anthropicと政権のバトル

AnthropicのCEOであるDario Amodei(下の写真、左側)は講演会などのイベントで、AIフロンティアモデルは理解できていないリスクを内包しており、安全対策が必要と主張する。これに対し、トランプ政権のAI責任者David Sacks(右側)は、Anthropicは過度に恐怖を駆り立て、政府にAI規制を導入することを求め、事業を優位に展開する作戦であると主張する。この戦略は「Regulatory Capture(社会の利益より特定企業の利益を優先する政策)」で、AI規制が導入されるとスタートアップ企業などはこれに準拠することができず、Anthropicが優位にビジネスを進めることができると解析する。

出典: Generated with Google Gemini 3 Pro Image 

Anthropicの提言

これに対し、Anthropicは会社としての公式な見解を公表し意図を明らかにした(下の写真)。また、米国がAI市場でリーダーのポジションを維持するために必要な項目を提示した。この中で、連邦政府が統一したAI規制政策を示すことが重要としている。州政府が独自にAI規制を施行すると、全米で50の規制政策が運用されることになり、企業にとって大きな負担となる。

出典: Anthropic 

安全試験の実施を求める

更に、AnthropicはAI製品を出荷する前に安全試験を実施すべきと提言している。対象はAIフロンティアモデルを開発している大企業で、スタートアップ企業などを除外する。Anthropicの他に、OpenAIやGoogleなどが安全試験の対象となる。この指針は先に制定されたカリフォルニア州のAI規制法「SB 53」を踏襲するもので、年収が5億ドル以上の企業を対象とする。

Anthropicは公共営利法人

Anthropicは営利団体であるが「Public Benefit Corporation(公共営利法人)」として設立された。Anthropicは利益を上げることを目的とするが、同時に、公共の営利を探求することをミッションとする。実際に、AnthropicはAIモデルの安全技術開発を最重要項目と位置付け、信頼できるAIモデルを開発している。AIフロンティアモデルの判断ロジックを解明する研究や、アルゴリズムが人間の価値にアラインする研究を展開し、その成果を一般に公開している。

米国政府との共同作業

Anthropicと政権側で指針について意見が対立するが、実際には、Anthropicは米国政府とフロンティアモデルの安全性に関し共同プロジェクトを進めている。トランプ政権はAI開発を推進しリスクを評価する部門として「Center for AI Standards & Innovation (CAISI)」を設立した。AnthropicはCAISIと共同で安全評価プログラムを実施しその成果を公開した。また、Anthropicは英国政府の「UK AISI」と提携し、安全試験を実施しており、米英両国間でAIセーフティに関するコラボレーションを進めている。

出典: Generated with Google Gemini 3 Pro Image 

安全試験のプロセス

このトライアルは安全試験の標準テンプレートを確立することを目的としている。AI安全試験は政府側CAISIが実施し、Anthropicは出荷前のAIモデルへのアクセスを許諾し、試験に必要な情報を提供する。CAISIはモデルに対しストレス試験を実施しシステムの脆弱性を洗い出す。この方式は「Red-Teaming」と呼ばれ、開発者がモデルに対しジェイルブレイクなどのサイバー攻撃を展開する。また、攻撃チームは生物兵器製造に関する危険性を検証する。検証結果はAnthropicと共有し、この情報を元にモデルを強化する。

自主規制

安全試験の標準プロセスが確定したら、各企業は自主的にこれを適用し安全性を確認することができる。Anthropicは製品出荷前の安全試験はあくまで自主規制で法令で縛るべきでないとのポジションを取る。OpenAIなどの大企業がこの安全試験に自主的に参加しAIフロンティアモデルの安全性を担保することを目標とする。企業としては、政府と安全試験を実施することで、事実上の政府認証を受けることになり信用度が向上する。また、この安全試験プロトコールをベースとして、安全評価技術の標準化が進むと期待される。

Anthropicが孤軍奮闘

トランプ政権はAIアクションプランでAI規制を緩和しイノベーションを推進する政策を取る。AI開発企業はこの政策が強い追い風となり、開発の自由度が増し、実際にAI技術開発が急進している。一方、業界の中でAnthropicだけがこの指針に異を唱え、政府に全米を統括するAI規制を求めている。AnthropicはAIフロンティアモデルの安全性に関し重大な懸念を示し、政府に対応を求めているが、他のAI開発企業は目立った動きを示していない。Anthropicとトランプ政権のバトルはどう決着するのか業界が注目している。

女性の服を脱がせるAIモデルが水面下で爆発的に普及、法規制が進むが被害が増大、AIがディフージョンモデルに進化し大量のコンテンツが生成される

女性の服を脱がせるAIツール「Nudification」が水面下で爆発的に広がっている。Nudificationとはヌードに変換するという意味で、早くから使われてきたが、AI技法が進化し使い方が容易になり、大量のコンテンツが生成されている。同意を得ない性的なイメージが殆どで、被害件数が急増している。連邦政府はヌード化されたコンテンツを掲載することを禁止する法令を制定し、AI規制の第一歩を踏み出した。しかし、Nudificationの使用を禁止するものではなく、効果は限定的で、多くの課題が積み残されている。

出典: Generated with OpenAI GPT-5

Nudificationとは

「Nudification」とはヌードイメージを生成する技法を指し、写真に写っている女性の服を脱がせるツールとして使われている。技術的な視点からは、AIモデルが女性の全体像を解析し、そこから衣服の部分を特定(Segmentation)する。次に、この部分(マスク)を含め、身体の構成(手足や胴体など)を推定する(Pose Prior)。更に、この基本情報を元に、AIモデルがマスクに肌や質感などをペイント(Inpainting)する。AIモデルは身体に関するデータを学習しており、高精度で身体を再現する。一般に、フェイクイメージを生成する技法は「ディープフェイク(DeepFakes)」と呼ばれ、Nudificationはこの主要コンポーネントとなる。

フェイクイメージ生成技法

マスク部分に肌をペイントする技法は、今までは「Generative Adversarial Networks (GANs)」というAIモデルが使われてきた。GANは二つのAIモデル、「生成ネットワーク(Generator)」と「識別ネットワーク(Discriminator)」で構成され、両者が競い合ってリアルなイメージを生成する(下の写真)。具体的には、生成ネットワークがイメージを出力し、識別ネットワークがその真偽を判定する。このプロセスを繰り返し、識別ネットワークが偽イメージを見抜けない段階に達し、リアルなイメージが完成する。この手法で人物や風景などのフェイクイメージが生成されてきたが、これが女性を裸にするツールに適用され重大な社会問題を引き起こした。

出典: Google

ディフュージョンモデルに進化

一方、GANを使うには技術を要し、また、その出力は完成度が低く、リアルなヌードイメージを生成するにはスキルを要した。今では、フェイクイメージを生成するための技法として「ディフュージョンモデル(Diffusion Model)」が幅広く使われている。ディフュージョンモデルとはアルゴリズムを教育する手法で、イメージにノイズを付加し、それを取り除くスキルを学ぶことでハイパーリアルな写真を生成する(下の写真)。

出典: Stable Diffusion

ディフュージョンモデルをNudificationに適用

ディフュージョンモデルは言葉に従って高精度なイメージを生成する機能を持つ。更に、入力された写真を編集する機能(Inpainting)があり、この技法がNudificationで使われる。新興企業Stable Diffusionはこの手法でリアルなイメージを生成し、Inpainting機能で写真のマスク部分を編集する機能を持つ(下の写真)。最新のディフージョンモデルは「ディフージョン・トランスフォーマ(Diffusion Transformer)」を搭載し、高品質な画像を大量に生成できるようになった。GPT-5などフロンティアモデルの基礎技術がNudificationで使われ、高品質なフェイクイメージが大量生産される時代になった。

出典: Stable Diffusion

Nudificationの事例

市場には数多くの種類のNudificationサイトやアプリがあり、ここで大量のコンテンツが生成されている。その代表は「CrushAI」というアプリで簡単な操作でヌードイメージを生成する(下の写真)。このアプリは香港に拠点を置く企業Joy Timeline HK Limitedが開発した。対象とする人物の写真をアップロードし、「Erase now」ボタンを押すと、AIモデルが衣服の部分を肌に書き換え、女性を裸にしたイメージを生成する。シンプルなインターフェイスで技術知識なしに使うことができ、市場で急速に利用が広がっている。非営利団体BellingcatがNudificationツールを追跡し、被害の状況をレポートしている。

出典: Bellingcat

MetaはCrushAIを提訴

CrushAIの利用が急拡大した背景には、ソーシャルメディアで広告を掲載し、利用者をサイトに誘導したことにある。CrushAIはFacebookやInstagramにアプリの広告を掲載し、ヌード化の機能をアピールした。これに対しMetaは、Joy Timeline HK Limitedは利用規定に反して広告を掲載したとして同社を訴訟した。Metaは同意を得ない性的なイメージを生成するツールを広告することを禁止している。

アメリカ連邦政府

社会でNudificationの被害が拡大する中、連邦議会は非同意の性的イメージを公開することを禁止する法令「The TAKE IT DOWN Act」を制定した(下の写真)。また、性的イメージを掲載するプラットフォームに対して、これを削除することを求めている。連邦政府はAI規制に消極的なポジションを取るが、性的な被害が拡大する中、対策に向けて一歩を踏み出した。一方で、この法令は個人が非同意の性的イメージを生成することは禁止しておらず、被害の拡大を食い止めることはできていない。特に、裸体のイメージで対象者を脅す「セクストーション(sextortion)」の被害が米国で急増している。

出典: Joyful Heart Foundation

ディープフェイクと表現の自由

AI技術は急速に進化し規制法はこのスピードに追随できない現状が改めて明らかになった。ディープフェイクは敵対国がアメリカの世論を操作する手段として使われるとして警戒をしてきたが、実際には、Nudificationによる被害が広がり、この対策が喫緊の課題となっている。アメリカは憲法修正第1条(First Amendment to the United States Constitution)で表現の自由(Freedom of expression)を定めており、国民は公権力によって規制されることなく、自由に思想や意見を主張する権利を持つ。有害なディープフェイクを規制する根拠となる考え方について議論が進んでいる。

米国政府は中国AIモデルの検証をスタート、DeepSeekは重大なセキュリティ・リスクを内包!!政府や企業に注意を喚起

米国政府は中国企業が開発したフロンティアモデルの検証を開始した。これはトランプ政権の「AIアクションプラン」に基づくもので、NIST配下の「CAISI(旧称AISI)」が安全試験を実施しその結果を公表した。DeepSeekが最初のケースとなり、報告書はジェイルブレイクなどサイバー攻撃への耐性が低いと評価した。一方、DeepSeekの性能は米国企業の最新モデルに及ばないものの、その差は小さいとしている。報告書は技術的な観点からモデルを評価するものであるが、米国政府は関連機関にDeepSeekの調達を控え、また、民間企業にはその運用で注意するよう呼びかけている。

出典: Center for AI Standards and Innovation

調査レポートの概要

この安全試験は国立標準技術研究所(National Institute of Standards and Technology、NIST)配下のAI標準イノベーション室(Center for AI Standards and Innovation、CAISI)で実施された。CAISIはAIモデルの技術開発支援と安全評価をミッションとする。トランプ政権はAIアクションプランで、国家安全保障の観点から、外国製のAIモデルを評価することをCAISIに求めており、今回の安全試験はこの最初のケースとなる。政権は中国製のフロンティアモデルを念頭に、これが米国や同盟国で普及するとセキュリティや情報操作で重大なリスクが発生すると懸念している。

評価対象モデル

安全試験では中国製AIモデルとしてDeepSeekの三つのモデル(R1, R1-0528, V3.1)が対象とした。Rシリーズは推論モデルで、Vシリーズは言語モデルで、「DeepSeek R1」が世界にショックをもたらしたことは記憶に新しい。言語モデルの最新版は「V3.2」であるが、今回の試験の対象とはなっていない。一方、米国のAIモデルはOpenAI (GPT-5, GPT-5-mini, gpt-oss-120b)とAnthropic (Claude Opus 4)が評価された。19のベンチマークテストを実施し、両者の性能を比較する方式でDeepSeekの機能や性能を査定した。

評価結果:セキュリティ

AIモデルのセキュリティを評価する技法として「Cybench」、「CVE-Bench」、「CTF-Archive」が使われ、このベンチマークテストを通して、モデルのサイバー攻撃への耐性が評価された。具体的には、AIモデルがサイバー攻撃のシグナルを検知する能力が査定された。六つの分野で評価され(下のグラフ、三つの分野)、問題を解決(シグナルを検知)した割合を示している。青色が米国モデルで、赤色がDeepSeekとなり、米国モデルがセキュリティで高い性能を示した。因みに、「Cryptography」は暗号化されたメッセージを復号化してサイバー攻撃を検知する能力を測定する。また、「Digital Forensics」はシステムに残されたサイバー攻撃の痕跡を見つける技能が試される。

出典: Center for AI Standards and Innovation 

評価結果:エンジニアリング機能

次に、AIモデルのエンジニアリング性能が試された。これは、実社会での技術問題をAIモデルが解決するスキルを試すもので、ここでは「SWE-bench Verified」が使われた。このベンチマークでは、GitHubに掲載されているプログラムの問題(コードのバグなど)が示され、これをAIモデルが修正するスキルが問われる。その結果は正解率で示され(下のグラフ)、米国AIモデルがDeepSeekを上回るものの、OpenAIのオープンソース・モデル「gpt-oss-120b」はDeepSeek V3.1に及ばない。実社会でエンジニアリング問題を解決する能力では米中間の差が縮まっていることが明らかになった。

出典: Center for AI Standards and Innovation 

評価結果:科学知識

科学技術の知識を問うベンチマークテストでは米国モデルとDeepSeekの差は無く、両モデルでほぼ同じレベルの性能を示した(下のグラフ)。言語機能や推論機能を評価する「MMLU-Pro」では、米中間で差はなく、横一列となった。生物学、物理学、化学に関する推論機能を試験するベンチ「GPQA」でも両国のモデルの差は僅かとなった。

出典: Center for AI Standards and Innovation 

評価結果:CCPアラインメント

CAISIはAIモデルが中国共産党(Chinese Communist Party、CCP)の政治思想を反映している度合いを評価するベンチ「CCP-Narrative-Bench」を開発し、これを実行した(下のグラフ)。中国モデルの最新版でこの傾向が顕著で、中国共産党の政治思想を色濃く反映していることが判明した。これは政治思想のアラインメントを試験するもので、例えば、新疆ウイグル自治区 (Xinjiang) に関するプロンプトへの回答を評価し、AIモデルの出力が中国共産党の解釈に沿っているかどうかを査定する。米国政府は中国AIモデルが特定の思想を広め、世論を操作するツールとして使われることを警戒している。

出典: Center for AI Standards and Innovation 

総合評価

総合評価として、米国AIモデルとDeepSeekは性能評価試験では、米国モデルが優位であるがその差は僅かである。一方、AIモデルのセキュリティに関しては、DeepSeekは大きなリスクを内包しており、サイバー攻撃への耐性が低いことが判明した。更に、DeepSeekは中国共産党の政治思想を内包したモデルで、プロパガンダで使われることを懸念している。

注意喚起を促す

報告書は両者のAIモデルを技術的に評価することに留まり、利用制限などの提言はしていない。一方、報告書はAI政策を立案するための基礎資料として使われ、米国連邦議会などが中国AIモデルを規制する法令の準備などで使われる。同時に、この報告書を読むとセキュリティに関するリスクが大きく、導入して運用する際は注意を要す。DeepSeekはオープンソースで誰でも自由に利用できる魅力があるが、その危険性を勘案して安全に運用することが求められる。

次のステップ

AIアクションプランはCAISIに外国のAIモデルの安全検証を求めており、これから順次、このプロジェクトが進むことになる。中国でフロンティアモデルの開発が急進しており、DeepSeek以外に巨大テックが先進モデルを投入している。Alibabaは「Qwen」を、Baiduは「ERNIE」を、また、Tencentは「Hunyuan」を投入し、米国AIモデルに匹敵する性能を示している。CAISIはこれらのモデルを対象に安全試験を実施することになる。

OpenAIとAnthropicは米国政府と共同でフロンティアモデルの安全評価試験を実施、トランプ政権におけるAIセーフティ体制が整う

今週、OpenAIとAnthropicは相次いで、米国政府と共同でフロンティアモデルの安全試験を実施したことを公表した。また両社は、英国政府と連携し安全試験を実施したことを併せて公表した。トランプ政権は「AIアクションプラン」を公開し、AI技術開発を推進する政策を明らかにし、同時に、米国省庁にAIモデルを評価しリスクを明らかにすることを要請した。OpenAIとAnthropicは米国政府との共同試験で、評価技法やその結果を公開し、米国におけるAIセーフティフ体制のテンプレートを示した。

出典: Generated with Google Imagen 4

米国政府のAI評価体制

トランプ政権はAI開発を推進しリスクを評価する部門として「Center for AI Standards & Innovation (CAISI)」を設立した。これは国立標準技術研究所(NIST)配下の組織で、AIモデルのイノベーションを推進し、フロンティアモデルを評価することを主要な任務とする。CAISIはOpenAIとAnthropicと共同で安全評価プログラムを実施しその成果を公開した。バイデン政権では「AI Safety Institute (AISI)」がAIモデルの安全評価技術開発を推進してきたが、CAISIはこれを引き継ぎ、AI評価標準技術の開発と標準化を目指す。

安全評価の手法

CAISIの主要ミッションは、民間企業が開発しているフロンティアモデルの安全評価を実施し、そのリスクを査定することにある。OpenAIとAnthropicはこのプログラムで、CAISIが評価作業を実行するために、AIモデルへのアクセスを許諾し、また、評価で必要となるツールや内部資料を提供した。CAISIはこれに基づき評価作業を実施し、その結果を各社と共有した。実際に、CAISIの評価により新たなリスクが明らかになり、OpenAIとAnthropicはこれを修正する作業を実施した。

OpenAIの評価:AIエージェント

OpenAIのフロンティアモデルでは、「ChatGPT Agent」と「GPT-5」を対象に、評価が実施された。CAISIはこれらモデルのAIエージェント機能を評価しそのリスク評価を解析した。その結果、AIエージェントはハイジャックされるリスクがあり、遠隔で操作されるという問題が明らかになった。一方、英国政府はAIモデルの生物兵器製造に関するリスクを評価し、数多くの脆弱性を明らかにした。

Anthropicの評価:ジェイルブレイク

一方、Anthropicの評価ではフロンティアモデル「Claude」と安全ガードレール「Constitutional Classifiers」を対象とした。これらのモデルに対しRed-Teamingという手法でサイバー攻撃を実施し、その結果、汎用的なジェイルブレイク攻撃「Universal Jailbreaks」に対する脆弱性が明らかになった。Anthropicはこの結果を受けて、モデルのアーキテクチャを改変する大幅な修正を実施した。

出典: Generated with Google Imagen 4

安全試験のひな型

これらの安全評価はCAISIの最初の成果で、民間企業と共同で試験を実施するモデルが示された。AIアクションプランは米国政府機関に対しアクションアイテムを定めているが、民間企業を規定するものではない。OpenAIとAnthropicは自主的にこのプログラムに参加し安全試験を実施した。また、両社はフロンティアモデルを出荷する前に、また、出荷した後も継続的に安全試験を実施するとしており、この試みが米国政府におけるAIセーフティのテンプレートとなる。

評価技法の標準化

一方、安全評価におけるスコープは両者で異なり、フロンティアモデルの異なる側面を評価した形となった。OpenAIはフロンティアモデルのエージェント機能を評価し、Anthropicはジェイルブレイク攻撃への耐性を評価した。このため、二つのモデルの検証結果を比較することは難しく、統一した評価技法の設立が求めらる。CAISIのミッションの一つが評価技法の開発と国家安全保障に関連するリスク評価で、評価技術の確定と技術の標準化が次のステップとなる。

出典: Generated with Google Imagen 4

米国と英国のコラボレーション

OpenAIとAnthropicは英国政府「UK AISI」と提携して安全試験を実施しており、米英両国間でAIセーフティに関するコラボレーションが進んでいる。CAISIとUK AISIは政府レベルで評価科学「Evaluation Science」の開発を進めており、両国で共通の評価技術の確立を目指している。一方、欧州連合(EU)はAI規制違法「EU AI Act」を施行し、独自の安全評価基準を設定しており、米国・英国とEU間で安全性に関する基準が異なる。EUとの評価基準の互換性を確立することがCAISIの次のミッションとなる。

トランプ政権のセーフティ体制

これに先立ち、OpenAIは米国政府と英国政府が監査機関となり、AIモデルの安全評価試験を実施することを提唱している。米国政府ではCAISIが、また、英国政府ではUK AISICがこの役割を担うことを推奨した。今回の試みはこの提言に沿ったもので、米国と英国でAIモデル評価のフレームワークが整いつつある。バイデン政権では政府主導でセーフティ体制が制定されたが、トランプ政権では政府と民間が協調してこの枠組みを構築するアプローチとなる。