バイデン政権は大統領令で開発企業に製品出荷前に生成AIの安全を確認することを求めた。研究者グループは、この規定に従ってモデルを試験し、危険性を排除した生成AI「Aurora-M」を開発した。大統領令が適用されるのは次世代の生成AIであるが、研究グループはこれに先行し、Red-Teamingの手法で危険性を検知し、極めて安全なモデルを開発した。Aurora-Mはオープンソースとして公開され、セキュアなモデルを開発するための研究で利用される。

Aurora-Mとは

Aurora-Mはオープンソースの大規模言語モデル「StarCoderPlus」をベースとするモデルで、研究者で構成される国際コンソーシアムが開発した。Aurora-Mは大統領令で規定された条件に準拠して、StarCoderPlusの脆弱性を補強する手法で開発された。また、StarCoderPlusを多言語で教育することで、Aurora-Mはマルチリンガルな生成AIとなった。

大統領令で定める安全基準

バイデン政権は2023年10月、大統領令「Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence」を発行し、大規模言語モデルを安全に開発し運用することを規定した(下の写真)。開発企業に対しては、大規模言語モデルが社会に危険性をもたらすことを抑止するため、製品出荷前に安全試験を実施することを求めた。対象となるモデルは、デュアルユースの生成AIで、次世代モデル(GPT-5などこれからリリースされる大規模言語モデル)が対象となる。

大統領令の規制内容

大統領令は契約書のように企業や団体が準拠すべき義務を詳細に規定している。これによると、開発企業は「Red-Teaming」の手法でAIシステムの問題点や脆弱性を検知し、それを修正することを求めている。開発者が攻撃団体となり、AIシステムを攻撃して、問題点や脆弱性を洗い出す。具体的には、AIシステムが生成する有害なコンテンツや、AIシステムの予期できない挙動や、AIシステムが悪用された時のリスクを検証する。特に、セキュリティや国家経済や社会の安全性に及ぼすリスクを低減することを目的とし、下記のリスクを重点的に検証することを求めている：

• CBRN兵器：AIシステムで化学・生物・放射線・核兵器を開発するリスク
• サイバー攻撃：AIシステムで攻撃対象システムの脆弱性を検知するリスク
• 人間の制御を逃れる：AIシステムが目的を達成するため人間を騙し制御をすり抜けるリスク

Red-Teamingとは

Red-Teamingとは、AIモデルの問題点や脆弱性を検証する手法で、開発チームが攻撃グループ「Red Team」と防御グループ「Blue Team」に分かれて実施する(下の写真)。言語モデルに関しては、攻撃グループがAIシステムに有害なプロンプトを入力し、モデルが本来の仕様とは異なる挙動をすることを誘発する。これにより、AIシステムが核兵器を生成するための手引書を出力するなど、危険な挙動を導き出す。この情報を元に、防御グループがAIシステムのアルゴリズムを最適化し、危険性を抑制する対策を施す。

モデル攻撃のためのプロンプトとモデルの再教育

Red-TeamingではAIシステムを誤作動させるため、多種多様なプロンプトを入力して、モデルの脆弱性を検証する。AIシステムは攻撃用のプロンプトに対し、危険な情報を出力するが、この結果を人間がレビューして、これらをモデルの再教育で利用し安全な回答の仕方を教える。例えば、爆弾の製造方法を問われたら、回答できないと答えるが、Minecraftゲームに関する質問では、爆弾の作り方を教えてもよいと、AIシステムを再教育する(下の写真)。このケースでは数千の再教育データが使われ、大統領令で規定された項目に準拠するAIシステムを作り上げた。

今年から安全試験が始まる

大統領令の規定によると、出荷前に安全試験を義務付けられるのは一定規模を超える言語モデルで、現行製品は対象外で、次世代の大規模モデルからこの規定が適用される。Aurora-Mは対象外で事前試験の義務はないが、安全なシステムを開発するためこの規定に準拠した。Aurora-Mは大統領令が施行される前にこれを実施し、安全なシステムのモデルケースとなる。今年は、OpenAIからGPT-5がリリースされ、大統領令で規定された安全試験が実施されることになる。

アメリカ政府はイギリス政府と生成AIの安全性に関する共同研究を実施することで合意した。合意内容は生成AIの安全性を検査する技法の確定などで、安全規格の標準化を両国が共同で推進する体制となる。アメリカ政府はAIコンソーシアムを設立し、民間企業200社が加盟し、政府と共同でAIモデルの安全技術の確立を進めている。今回の合意で、この活動をイギリス政府と共同で進めることとなる。

アメリカ政府とイギリス政府が覚書に調印

ワシントンにおいて4月1日、アメリカ商務省長官Gina Raimondo(上の写真左側)とイギリス科学・イノベーション・技術大臣Michelle Donelan(右側)が覚書に証明し、AIモデルの安全性を検査する技術を共同で開発することに合意した。これは、昨年11月にイギリスで開催されたAIセーフティサミット「AI Safety Summit」の合意事項に基づくもので、両国は生成AIの開発を安全に進めることを確認した。特に両政府は、生成AIを悪用したサイバー攻撃や生物兵器の開発など、国家安全保障を揺るがす危険性を懸念しており、次世代モデルを安全に開発運用する技術を共同で開発する。

合意の内容

アメリカ商務省はイギリス政府とAI安全技術の開発で合意したことをニュースリリースで公表した(下の写真)。これによると、両国はAIモデルやAIシステムやAIエージェントの安全性を評価する技術を共同で開発する。両国は独自の手法でAIの安全性を査定する技術を開発しているが、この情報を共有し、共通の検査基準を確立する。また、両国は公開されている生成AIモデルを使い、実際に安全試験を実施しその成果を検証する。

両国が世界のリーダーとなる

この合意は即日実施され両国で技術開発を進める。生成AIの開発のペースは急で、これに追随するためには、安全技術の開発を急ピッチで進める必要がある。Gina Raimondoは、生成AIは高度な機能を提供するものの、その危険性は甚大であり、両国は率先してこの問題を解決するための技術開発を進めると述べている。AIモデルの理解を深め、検証技術を確立し、安全性を担保するためのガイドラインを公開する。

アメリカ政府のAI安全性政策

アメリカ政府は既に、AIの安全性を検証するための組織「AI Safety Institute」を設立している。これは商務省配下の部門で、生成AIの最新モデル「Frontier Models」のリスクを査定することをミッションとしている。AI Safety Instituteは生成AIモデルを検査しその危険性を把握する技術の確立を担う。具体的には：

• AIモデルの安全性・セキュリティ・検証試験に関する標準技術の確立
• AIが生成したコンテンツを特定する標準技術の開発
• 生成AIを試験するプラットフォームの開発

政府と民間企業のコンソーシアム

アメリカ政府は2024年2月、AI安全性のコンソーシアム「AI Safety Institute Consortium (AISIC)」を設立した(下の写真)。コンソーシアムは商務省と民間企業で構成され、生成AIを安全に開発運用する技術を確立する。コンソーシアムには、GoogleやMicrosoftなどAI開発企業がメンバーとなっている。更に、BPやNorthrop Grummanなど、AIを運用する企業も加盟している。AIを安全に運用するための標準手法を制定することがミッションで、具体的には次のタスクから構成される：

• AIモデルの危険性検査(Red-Teaming)
• AIモデルの機能の評価(Capability Evaluations)
• リスクを管理する手法(Risk Management)
• 安全性とセキュリティ(Safety and Security)
• 生成コンテンツのウォーターマーキング(Watermarking)

イギリス政府の体制

イギリス政府は2023年11月、AIの安全性を検証する組織「AI Safety Institute」を設立している。この協定は両国の「AI Safety Institute」が共同で生成AIの安全技術の標準化を進めることを規定している。今回の合意は、イギリスで開催されたAIセーフティサミット「AI Safety Summit」(下の写真)の決議に基づくもので、両国が生成AIの安全技術で世界をリードする。

アメリカ・イギリスとEUの関係

生成AIに関する安全規格の制定で、アメリカとイギリスが提携することで、世界で二つの陣営が生まれることになる。EUはAIに関する法令「AI Act」を制定し、今年から運用が始まる。AI Actは法令によりAIを安全に開発運用することを義務付ける。生成AIに関してはモデルの概要や教育データに関する情報の開示が求められる。これに対しアメリカ・イギリス陣営は、法令でAIの安全性を義務付けるのではなく、モデルの安全検査を施行するための標準技術を制定する。開発企業はこの規格に沿って安全検査を自主的に実施する。世界で二つの方式が存在することになり、今後、両陣営で調整が行われるのか注視していく必要がある。

バイデン政権はAIでサイバー攻撃を防御する技術を競う大会「AI Cyber Challenge」を起動した。これは、社会インフラを担うソフトウェアを敵対国の攻撃から守ることを目的とし、コンペティションの形式でセキュリティ技術を開発する。生成AIでソフトウェアの脆弱性を探し出し、これを自動で修正する。米国政府は生成AIがセキュリティ技術を強化する切り札と認識し、この大会でブレークスルーを目指す。

AI Cyber Challengeとは

AI Cyber Challengeとはアメリカ国防省配下の国防高等研究計画局(Defense Advanced Research Projects Agency (DARPA))が運営する大会で(上の写真)、GoogleやOpenAIなど生成AI企業が協賛する。大会はコンペティション形式で進められ、賞金総額は2000万ドル。大会期間は二年間で、予選を勝ち抜いたチームが決勝戦に進む。セキュリティ技術を強化することが目的で、課題「Challenge Project」が提示され、参加チームがこれを解くことでポイントを得る。

コンペティション

参加チームは、ソフトウェアの脆弱性を検知し、これを修正するプロセスを、全てAIで実行することが求められる。生成AIなど先進技術を活用し、アルゴリズムが人間に代わり、この工程を実行する。既に、機械学習や強化学習などAIモデルがセキュリティ技術に組み込まれているが、この大会では生成AIが着目されている。生成AIは言葉を理解する技術が格段に進化し、更に、プログラムを解析する機能や、コーディングする技量を有している。この手法を使って、参加チームが革新的な手法を生み出すことが期待されている。

協賛企業

このチャレンジには、Anthropic、Google、Microsoft、OpenAIが協賛企業として参加する。これらの企業は生成AI開発のリーダーで、参加チームにノウハウやスキルを提供し、問題の解決を支援する。また、オープンソース管理団体Linux Foundationも協賛企業として参加している。社会インフラでオープンソースが使われているが、多くの脆弱性を内包していることが指摘され、実際にサイバー攻撃の対象となっている。オープンソースの問題点を見つけ出すことが喫緊の課題となっている。競技はセキュリティ・カンファレンス「Black Hat」(下の写真)で実施され、同社は競技の運用などを担う。Black Hatはトップレベルのハッカーが参加することで知られている。

生成AIをセキュリティに適用する

生成AIをセキュリティに応用することで、サイバー攻撃への防御技術が格段に向上すると期待されている。大規模言語モデルは言葉の他に、プログラムを使って教育されており、コードに関する深い知識を持つ。言葉の指示でコードを生成することに加え、プログラムを分析してバグを検知する機能がある。例えば、Anthropicの生成AI「Claude 2」を使って、プログラムが内包している脆弱性を検知するなどの使い方がある。大会では、生成AIというプラットフォームにどのようなアプリケーションを構築するかがカギとなり、「プロンプト・エンジニアリング」などの技量が試される。

Googleのセキュリティ技術

Googleは既に、生成AIをセキュリティ機能に最適化したモデル「Sec-PaLM 2」を開発した。これはGoogleの大規模言語モデル「PaLM 2」をベースとするセキュリティ技術で、マルウェアを高精度で検知する機能を持つ。Sec-PaLM 2は、システムに対する攻撃を把握し、これに対する防衛機能を自律的に実行する。また、システム全体を検証し、セキュリティに関する問題点などを指摘する。チャレンジではこれらの事例を参考に、新技術が開発されることになる。

スケジュール

大会は2年間にわたるコンペティションで、予選を勝ち抜いて、決勝戦で勝者が決まる(下のグラフィックス)。大会の概要は：

• 予選：2024年5月、20チームが準決勝に進む
• 準決勝戦：2024年8月：5チームが決勝に進む
• 決勝戦：2025年8月：3チームが選ばれる、優勝賞金は400万ドル

応募枠は二種類あり、それぞれ「Open Track」と「Funded rack」なる。前者は誰でも参加できる枠で、後者は書類選考を経て参加チームが決まり、最大７チームを目途に、DARPAから参加費用が支給される。

Cyber Grand Challenge

DARPAは過去にもセキュリティ・チャレンジ「Cyber Grand Challenge」を実施している。これは、ソフトウェアの脆弱性を検知し、これをリアルタイムで修正する技術を競うもので、2015年から二年間にわたり実施された。今回のコンペティションも、ソフトウェアの脆弱性を検知し、これを修正するものであるが、前回と異なり、このプロセスをAIで自動化することが求められる。そのため、生成AIの技術がカギとなり、防衛技術を自動化する。

DARPAのグランドチャレンジ

DARPAは、技術進化はコンペティションで生まれると認識しており、ブレークスルーを達成するために競技方式を採用してきた。過去には「DARPA Grand Challenge」として、自動運転車のレースが実施され、優勝チームがGoogleやUberの自動運転技術の基礎を築いた。AI Cyber Challengeでは、参加チームが問題を解いて、「旗を奪う」ことで得点を得る。これは「Capture the Flag」と呼ばれ、誰が最初に旗を奪うかというコンペティションとなる。米国政府はこの大会を通して、セキュリティ技術が格段に進化し、社会インフラがセキュアになることを期待している。

今週、バイデン大統領はGoogleやOpenAIなどAI企業７社と会見し、AIの安全性に関するガイドラインを発表した(下の写真)。これは「Voluntary Commitments」と呼ばれ、法的義務はない自主規制であるが、企業７社がこれに同意し、AIモデルの安全検査を実施する。このガイドラインは、アメリカ国民をAIの危険性から守ることに加え、中国などを念頭に、国家安全保障を強化する構造となっている。米国政府はAI規制法の準備を進めているが、このガイドラインが法案の骨格を構成し、AI規制政策の構造を理解できる。

ガイドラインの概要

バイデン政権はAIの安全性に関するガイドラインを公表し、開発企業はこの規定に沿って、モデルの安全性を検証することとなる。対象となるモデルは生成AIだけで、OpenAIの「GPT-4」と「DALL-E 2」、また、Googleの「PaLM 2」(Bardのエンジン)などに適用される。ガイドラインは「安全性」、「セキュリティ」、「信頼性」の三つの基軸から構成される。

• 安全性 (Safety)：モデルの安全性を検査。開発企業はアルゴリズムを検査し、AIが兵器開発に悪用される可能性など、危険性を洗い出す。
• セキュリティ (Security)：サイバー攻撃に備える。生成AIは国家安全保障にかかわる機密情報を含んでおり、サイバー攻撃に備え、情報管理を厳格にする。
• 信頼性 (Trust)：信頼できるAIを開発。生成AIで制作したコンテンツには、その旨を明示し、利用者に信頼できる情報を提供する。

安全性 (Safety)

ガイドラインは安全性に関し、AIモデルを検証することと、AIモデルに関する情報を共有することを求めている。AIモデルの検証では「Red-Teaming」という手法を推奨しており、社内だけでなく社外組織と共同でこれを実行する。(Red-Teamingとは、開発者がハッカー「Red Team」となり、モデルに様々な攻撃を行い、もう一方の開発者「Blue Team」がこれを防衛する手法で、アルゴリズムの脆弱性を把握し、モデルの危険性を理解する。)

安全性 (Safety)：モデルの危険性とは

この手法でモデルが内包する危険性を洗い出し、市民生活に及ぼすリスクの他に、サイバー攻撃などの国家安全保障に関する危険性も把握する。ガイドラインが懸念する主なリスクは：

• 兵器製造：生物学兵器、化学兵器、核兵器開発にAIが悪用されるリスク
• ハッキング：システムの脆弱性を検知するためにAIが悪用されるリスク
• システム制御：AIがサイバー空間を超え物理装置の制御を奪うリスク
• 社会問題：AIのバイアスや差別により社会に悪影響を与えるリスク

安全性 (Safety)：情報共有と標準規格

ガイドラインは、各社がモデルを検証してこれらのリスクを査定するが、その検証結果を企業や政府と共用することを求めている。更に、リスクを査定する手法については、アメリカ国立標準技術研究所(NIST)が制定した「AI Risk Management Framework」に準拠することを推奨している。これは責任あるAI開発と運用を規定したフレームワークで、米国におけるAI技術の標準仕様書となっている。

セキュリティ(Security)

ガイドラインは、AIモデルに関する情報は知的財産で、これが盗用されないようセキュリティを強化することを求めている。外部からのサイバー攻撃と、内部関係者による盗用に備え、セーフガードを強化することを求めている。AIモデルの知的財産とは、アルゴリズムのパラメータ「Weights」を指し、開発企業はこれを厳重に守ることを求めている。(「Weights」とはアルゴリズムのパラメータの値を指す。「Weights」はアルゴリズムをデータで教育して決定する。生成AIは大規模なモデルで、Weightsを決定するには、スパコンを使って大規模な計算が必要となる。)

信頼性(Trust)

ガイドラインは、生成AIが出力したコンテンツには、その旨を明記することを求めている。対象は、テキストの他に、オーディオやイメージで、利用者がその背景を正しく理解できることが重要としている。更に、開発企業に、オーディオやイメージに関し、その出典やウォーターマークを挿入するメカニズムの導入を求めている。また、開発企業に、AIモデルの機能だけでなく、制限事項や対象分野などをドキュメントとして公開することを求めている。これは「Model Card」といわれる手法で、AIモデルの取扱説明書となる。

信頼性(Trust)：イノベーション

ガイドラインは、更に、高度なAIのイノベーションを進め、社会が抱えている問題の解決に寄与するよう求めている。これらはグランドチャレンジと呼ばれ、地球温暖化の抑止やがんの早期検知やサイバー攻撃への防御技術などで、AIがこれらの解法に寄与すべきとしている。更に、開発企業は、学生や労働者へAIに関する教育や啓もう活動を通し、皆がAIの恩恵を享受できるよう求めている。

米国と欧州との違い

バイデン政権が制定したガイドラインは、生成AIに限定し、国民の安全を守ることに加え、国家安全保障を強化することを規定している。特に、生成AIの知的財産を守り、敵対国やハッカー集団に悪用されることを防ぐことに重点を置いている。これに対し、EUが最終調整を進めているAI規制法「AI Act」は、生成AIを含む広範なAIを対象に、利用者の権利を守ることを主眼に置いている。更に、AIモデルを教育するデータに関する規制もあり、著者者の権利を保護することを規定している。米国のガイドラインは国家安全保障の強化に重点を置いていることが特徴となる。

米国の法令整備

ガイドラインは、法的な拘束力はなく、合意した企業がこれに基づき、自主的に義務を履行する構造となる。合意した企業は７社で、Amazon、Anthropic、Google、Inflection、Meta、Microsoft、及び OpenAIがガイドラインに従って安全性を検証する。また、このガイドラインは、AI規制法が制定されるまでの規約で、暫定的な措置という位置づけとなる。現在、米国政府はAI規制法の準備を進めているが、このガイドラインがその構成のベースとなる。AI規制法の制定までには時間を要すが、ガイドラインからAI規制法の姿を読み取ることができる。