カテゴリー別アーカイブ: 人工知能

AI開発のペースが急進する技法「Recursive Self-Improvement (自己改良ループ)」とは、Anthropic Claudeが研究開発の26％を主導する

元Anthropicの研究者が、数年以内にAIが人類を絶滅させるとの警告メッセージを発信し、AI脅威論についての議論が世界各国で沸騰している。Anthropicは、最先端AI・フロンティアモデルの開発ペースを減速すべきかという議論を進めるためには、AI開発が実際にどれほどの速度で加速しているかを測定する「メトリックス(指標)」が必要であると主張する。Anthropicは、実際に社内におけるAI開発の速度を計測しそれを公開した。

出典: Generated with OpenAI GPT-5.6 Sol

AI開発の速度を計測する指標

Anthropicは、レポート「Measurements for understanding the pace of AI development inside frontier labs」を公開し、AI開発の速度を計測するための指標を提案した。この指標は三つのメトリックスで構成される：

Anthropicはこれら三つの指標を社内におけるAI開発に適用し、そのベンチマーク結果を公表した。

次世代AIの構築にAIがどれだけ寄与しているか

Anthropicは、AIによる研究開発の貢献度を「AL0(自動化なし)」から「AL5(完全自動化)」までの6つのレベルで定義し、社内の研究開発におけるAIの貢献度を評価した(下のグラフ)。2026年8月時点で、フロンティアモデルClaudeは、AI研究開発のタスクの26%を「Lead・主導」している(レベル＝AL4)。同年2月時点では1%未満であったが、からわずか半年で急増しており、AI開発の加速を裏付ける顕著なデータとなる。また、全体の70%以上のタスクにおいて、AIと人間が「Collaborates・共同作業」している(レベル＝AL3)。つまり、Anthropicにおいては、ほぼ100％の部分でClaudeがAI開発に大きく貢献している実態が明らかになった。

出典: Anthropic

AIエージェントがどれだけ効果的に制御されているか

Anthropicの社内研究開発プラットフォームでは、常時約30,000ユニットのAIエージェントが稼働している(下のイメージ)。Anthropicは、すべてのエージェントの行動の100%を、リアルタイムで監視している。この監視システムによって、AIエージェントの行動が実際にブロックされたケースは、全体の約0.002%に抑えられた。これは、AIエージェントが行う意思決定の約47,000回に1回の割合に相当する。Anthropicの開発者は自らがプログラムをコーディングするのではなく、AIエージェントに指示を与え、タスク実行の結果を評価する、プロジェクト・マネジャーの役割へと大転換した。

出典: Generated with OpenAI GPT-5.6 Sol 

機能開発と安全性開発の間で計算資源がどう割り当てられているか

Anthropicは、計算資源がフロンティアモデルの開発において、安全指標として非常に有用であると主張する。Anthropicにおいて、AIの研究開発で使用された計算資源のうち、約6%が「安全性(Safety)」に関するタスクで使われた。一方で。AIが主導して行うAI開発(AL4の部分)では、使用された計算資源の約12%が「安全性(Safety)」に関するタスクに割り当てられた。AIがAI自身を開発する領域においては、安全性の確保により高い比率(12%＝全体の2倍)の計算資源が割かれていることが判明した。

Dario Amodeiの主張との関係

これに先立ち、Dario Amodeiは論文「We Must Pace the Frontier」を発表し、性能の進化を意図的にスローダウンし、安全技術(アライメント、AIの仕組みの解明、検証技法、運用の安全対策)をキャッチアップさせるべきと提唱した(下のイメージ)。今回の報告書は、この提案を技術的に支えるもので、AI開発のスピードを理解するための測定基準を示したものとなる。同時に、これをAnthropicにおけるAI研究開発に適用し、「Recursive Self-Improvement」による技術開発のスピードアップを明らかにした。

出典: Generated with OpenAI GPT-5.6 Sol 

AIセーフティ開発へ全面的にシフト

この報告書でAnthropicにおける「Recursive Self-Improvement(自己改良ループ)」のレベルが明らかになった。Claudeは、既存の製品を改良しているだけでなく、次世代AIを生み出すプロセスへ本格的に参画し始めていることを示している。このペースで進むと、AI主導の開発(AL4)は2027年の後半に100％のレンジに到達する。また、全自動開発(AL5)のプロセスは、2026年後半に始まると予想される。AI開発のペースが加速度的に進み、AI開発のフレームワークを根本から見直す必要がある。AI開発においては、機能改良だけではなく、AIセーフティ開発に計算資源の大半を割り当て、安全性強化へ全面的にシフト(下のイメージ)する時期が到来した。

出典: Generated with OpenAI GPT-5.6 Sol 

数年以内にAIが人類を絶滅させるとの警告が一大論争を巻き起こす！！Amodei(Anthropic)はリスクを低減するための施策を提言、Huang (Nvidia)はこの予測に懐疑的で技術的手法で問題を解決できると主張

元Anthropicの研究者Jacob Coxonは、数年以内にAIが人類を絶滅させるとの警告メッセージを発信し、米国内でAI脅威論についての議論が白熱している。AnthropicのDario Amodeiは、これに対し、AI開発のペースを落とし、安全技術の開発を優先させるべきである、との意見を公開した。一方、NvidiaのJensen Huangは、AIが人類を絶滅させるとの予測は、科学的な根拠がなく、懐疑的なポジションを取る。同時に、HuangはAIのリスクはエンジニアリングの手法で制御できるとし、試験や監視により、技術の本質的な問題点を解明すべきと主張する。トランプ大統領は、開発ペースの減速には全面的に反対で、米国がAI覇権を維持するために、開発を推し進めるべきであるとの意見を公開した。

出典: Generated with OpenAI GPT-5.6 Sol

AI研究者の警告

元AnthropicのAI研究者Jacob Coxonは、AIが数年以内に人類を絶滅させる可能性が高いと、警告メッセージを発信した。フロンティアモデルの開発が危険なレースとなり、安全性が担保されないまま、機能強化が加速度的に進み、人類の存亡に関わるリスクが格段に高まると主張する。CoxonはAnthropicで三か月働き、他の研究者も同様な懸念を抱いていると、社内事情を明らかにした。研究者は、存続リスクを認識しているが、開発を停止するとライバル企業に先行されるとの恐怖感から、開発を推し進めているのが実情であると説明する。

出典: ABC News

Dario Amodeiのオピニオン

AnthropicのCEOであるDario Amodeiは、Coxonの懸念の一部に共感を示すものの、現実的な解決策を提案し、最悪のシナリオを回避できるとしている。フロンティアモデルの開発自体は継続しつつも、機能開発のペースを意図的に緩やかにし、アライメント(人間の意図への適合)など安全機能の開発を加速し、機能進化に安全技術を追い付かせるとの構想を示した。

出典: CBS News

Dario Amodeiの提案

具体的には、Amodeiは論文「We Must Pace the Frontier」を発表し、現実的な解決策を提言した。Amodeiは、フロンティアモデルの進化のスピードは、安全対策が追いつかないほど加速しているとの認識を示した。最大の要因は「Recursive Self Improvement」で、AIが次の世代のAIを開発するというサイクルが生まれ、AI機能が幾何級数的に進化している。このため、性能の進化を意図的にスローダウンし、アライメント、AIの仕組みの解明(Interpretability)、検証技法、運用の安全対策をキャッチアップさせるべきと提唱した。

出典: Dario Amodei

三つの解決策

Amodeiは論文の中で三つの具体的な解決策を提唱した。その中心は、第三者機関による安全検査で、METRなどの独立した外部組織がオフィス内で、モデルの安全機能を評価する。二つ目は、同盟国間での協調で、Anthropicは、OpenAIやGoogleといったAI開発企業と協調し、足並みを揃えて共通の安全基準を策定し、これを実行する。三つめは、グローバルな協調で、最終的には米国と中国が交渉を行い、危険な形態のAI開発に対して制限を設ける。Anthropicは、最初のステップとして、第三者機関による安全検査を開始する。

Jensen Huangの意見

NvidiaのCEOであるJensen Huangは、これらとはまったく異なる見解を示した。Huangは、AIがもたらす破滅的なシナリオは、科学的な事実に裏付けられたものではなく、極めて投機的であると批判している。フロンティモデルの開発を減速させることは、イノベーションや社会経済に大きなマイナスとなる。特に、米国のAI技術力が中国に対し相対的に低下し、技術覇権を損なう恐れがあると主張する。

出典: CNBC

Jensen Huangの提言

Huangは、AIの安全性は主にエンジニアリングの課題であり、テスト、モニタリング、サンドボックス化、システム設計を通じて解決できると考える。エンジニアリングの手法とは、技術的な工夫やシステム構築によって問題を解決することを意味し、AI企業は開発現場で問題をクリアできるとの意味を持つ。

エンジニアリング対サイエンス

これらの議論は、AIを安全に制御するのは、エンジニアリングの問題なのか、サイエンスの問題なのかに集約される。Huangは、フロンティアモデルは、既存の技術や仕組みを使って、安全で信頼性の高いモデルを構築できると、エンジニアリングの問題であると考える。Amodeiは、フロンティアモデルは、従来の工学的な安全技術を超え、AIの内部で何が起きているのか、その根本的な原理やメカニズムを解き明かす必要があり、サイエンスの問題に帰着すると考える。

議論が白熱

AmodeiとHuangは、AIの安全性が重要であるという点では一致しているが、どの程度の危険性が生じれば技術の進歩を減速させるのか、という点において意見が分かれている。フロンティアモデルを開発しているAmodeiの意見は重みがあり、多くの研究者がこれを支持している。一方、Huangは総合的な視点から現実的な解釈を示し、トランプ大統領を含む幅広い層から支持されている。AIについてこれ程までに議論が白熱することは稀で、米国社会は二派に分かれ、AI脅威論について、大論争が展開されている。

OpenAIは「GPT-6 Astra」を投入、実際に使ってみるとAGIを実感するモデル、社員やエンジニアのように独立して業務を遂行する「AIワーカー」

OpenAIは9月3日、最新モデル「GPT-6 Astra」を投入した。GPT-6 Astraは、OpenAIの最新データセンタ「Stargate」で開発された最初のモデルとなる。GPT-6 Astraのプレ教育では、10万台を超える最新GPU「Nvidia GB200」が使われた。GPT-6 Astraは、ベンチマークテストで高い性能をマークしただけでなく、実社会のタスクを自律的に実行する機能が格段に進化した。OpenAIは、GPT-6 Astraを「AIワーカー」と位置付け、エンジニアや知的労働者に匹敵する機能を持つとアピールする。Sam Altmanは、Astraは新しいものを自律的に創出する能力を持ち、AGIのような挙動を示すと述べている。

出典: OpenAI 

GPT-6 Astraの概要

GPT-6 Astraは、OpenAIが開発した最もインテリジェントで、アラインメントされたモデルとなる。Astraは、極めて有能な「自律型ワーカー」として設計され、人間のように自立的に、エンジニアリングや知的労働のタスクを実行する。Astraは、パソコンの操作、ブラウジング、ツールの利用、コーディング、データ分析、複雑なワークフローなど、人間のように自律して業務を遂行する能力を備えている。

ベンチマークテスト

GPT-6 Astraは、第三者団体Artificial Analysisによるベンチマークテストで、Anthropic Fable 5.1と並び、トップの座を占めた(下のグラフ)。これはAIモデルの総合的な能力を評価するもので、数学、科学、コーディング、推論など、10のベンチマーク結果を統合した指標となる。Astraは前世代モデルGPT-5.6 Solから6ポイント向上し、性能が劇的に進化した。

出典: Artificial Analysis

コンピュータ操作

GPT-6 Astraは、コンピュータを操作する機能が劇的に進化した。Astraは人間に代わり、コンピュータを使って、様々なタスクを実行するが、コンピュータ操作の「速度」、「正確性」、「安全性」において、最先端のモデルとなる。オンラインフォームへの入力、CRMにおける顧客管理など、ソフトウェアを使って様々なタスクを実行する。日常業務で時間のかかる作業を、Astraが人間に代わって実行する。(下のテーブル、コンピュータ操作のベンチマークテストで、GPT-6 Astraは業界トップの性能をマークした)

出典: OpenAI 

プリント基板の設計

GPT-6 Astraは「KiCad」を使って、プリント基盤(PCB)の設計を実行することができる。KiCadは電子設計自動化(EDA)ソフトウェアで、電子回路の設計から、プリント基板のレイアウト作成を実行する。最初に、プリント基板のレイアウト設計を行い、部品の配置や銅線パターンの配線などを経て、製造可能なPCBへ仕上げていく作業となる。このプロセスは、エンジニアが手作業で実行してきたが、これをGPT-6 Astraが実行することで、作業時間を劇的に短縮し、人間を上回る性能を示した。(下の写真左側、KiCadでの設計プロセス、右側、完成したプリント基板)

出典: OpenAI 

３Dモデリングの生成

GPT-6 Astraは、ソフトウェア「Unity」を使用して、都市のシーンを構築することができる(下の写真)。3D環境を簡単に作成でき、これをビデオゲームなどに展開する。Unityは3D開発エンジンで、人間に代わりGPT-6 Astraがこれを直接操作し、都市空間などを生成する。GPT-6 Astraは、ビル、道路、街灯などのパーツを配置して、都市空間を完成させる。この機能を使うことで、古代ローマの街並みや、近未来のサイバーシティなどを生成できる。

出典: OpenAI 

納税確定申告書を作成

GPT-6 Astraは、ブラウザ上で所得税の申告書を生成することができる。米国居住者が内国歳入庁(IRS)に提出する、個人所得税の申告書「Form 1040」を、人間に代わりGPT-6 Astraが生成する(下の写真)。Astraは源泉徴収票「W-2」などのデータを読み込み、これをベースに確定申告を生成する。米国の確定申告は複雑で、筆者のケースでは公認会計士に依頼しているが、今年度からGPT-6 Astraを使うことを検討している。

出典: OpenAI 

アパートの検索

実際に、GPT-6 Astraでアパートの検索を実行することができ、タスク完了までの時間が大幅に短縮された。アパート検索では「Apartments.com」のサイトが一番人気で、ここで必要条件を入力して、目的のアパートを探し出す(下の写真)。サイトで、部屋の空き状況、各種費用、ペットに関する規定、共有施設、入居時の特などを確認できる。このケースではGPT-6 Astraは9分57秒でタスクを完了した。検索条件を様々に変えて検索を繰り返すので、アパート検索では時間を要すが、GPT-6 Astraは人間に代わりこのタスクを短時間で実行する。

出典: OpenAI 

ビジュアル・ジャッジメント

GPT-6 Astraは、ウェブサイト、ゲーム、アプリケーション、3Dレンダリングの開発において、高度なビジュアル・ジャッジメント(Visual Judgement)の機能を持つ。ビジュアル・ジャッジメントとは視覚判断能力を意味し、見た目の美しさや使いやすさに関する機能が大幅に強化された。AIモデルは多種類のコンテンツを生成するが、デザインが洗練されているか、色合いが適切かなど、ビジュアルの観点からの評価機能が劣っていた。GPT-6 Astraはこれを大幅に強化し、見た目に美しいコンテンツを出力する。(下の写真、Astraで開発したプレゼン資料、デザインやレイアウトが洗練された)

出典: OpenAI 

ウォークスルー

GPT-6 Astraは、建造物などの写真イメージから、それを３Dモデルの動画に変換する機能がある。具体的には、Astraはソフトウェア「Blender」を使って、住宅の3Dモデリングを行い、それをゲームエンジン「Unreal Engine 5」で、実際に歩き回れる空間を描写する。これにより、デザイナーやクライアントは、建物が建設される前に、家の中を歩いて間取りや家具などを見て、家のイメージを直感的に体験することができる(下の写真)。

出典: OpenAI 

GPT-6 Astraを使ってみる

実際に、GPT-6 Astraを使ってみると、その高度な機能に驚かされる。Astraで旅行計画に関するウェブサイトを簡単に作ることができる。GPT-6 Astraは、旅行に関するデータを読み込み、これをベースにウェブサイトを生成する(下の写真)。家族でこのサイトを共有することで、旅行計画が極めてスムーズになる。旅行期間中は、スマホからこのサイトにアクセスし、移動手段ややホテル情報などを把握できる。

出典: VentureClef 

これはもうAGI

GPT-6 Astraは最も人間に近いAIモデルであると実感した。GPT-6 Astraは、人間のように独立して指示された仕事を実行するので、会社の同僚と共同で仕事をしているような印象を受ける。仕事で極めて便利なエージェントであるだけでなく、私生活においても、手作業のタスクを代行してくれ、生活に欠かせないモデルであると感じる。Astraは、纏まった仕事や一連のタスクを、独立してこなし、「デジタル空間における知的労働 ＝ AGI」の定義を満たすモデルとなる。

中国AIモデルは激安という時代は終わった！！Moonshot AIはKimi K3をオープンソースとして公開、性能は米国フロンティアモデルとほぼ同じ、利用料金も米国モデルと同レベル

中国のAI企業Moonshot AIは旗艦モデル「Kimi K3」をリリースし、そのウエイト(Weights、重み)を公開した。いわゆるオープンソースで、だれでも自由にこのモデルをダウンロードして利用することができる。Kimi K3は巨大なモデルで、パラメータ数は2.8T(兆)で、性能はOpenAIの「GPT-5.6 Sol」と同等レベルとなる。利用料金は無償ではなく、クラウド経由でアクセスしたときの価格(API価格)は、OpenAIの75％程度で、利用料金も米国モデルに迫る。中国企業は、オープンソースのフロンティアモデルを相次いで公開しているが、ビジネスモデルを大きく見直し、大幅な料金値上げを行い、これを事業の主軸とする戦略に転換した。

出典: Moonshot AI

Kimi K3とは

中国AI企業Moonshot AIは7月16日、旗艦モデル「Kimi K3」を公開し、7月27日にそのウエイト(Weights、重み)を公開した。Kimi K3は中国で最大規模のモデルで、パラメータ数は2.8T(兆)で、Mixture-of-Experts(MoE)というアーキテクチャを取る。Kimi K3は896の専門モジュール「Experts」から構成され、実行時にはこの中から、16のモジュールが稼働する構成となる。コンテクスト・ウィンドウ(データ処理量)のサイズは100万トークンで、大容量データを処理できる。Kimi K3は、大規模なプログラミング、AIエージェント、知識労働に最適な設計となっている。

Kimi K3の性能

Kimi K3は、米国のフロンティアモデルとほぼ同等の性能で、AnthropicとOpenAIに次ぎ、第四位の順位となる(下のグラフ)。OpenAIの旗艦モデル「GPT-5.6 Sol(max)」は61ポイントで、「Kimi K3(max)」は60ポイントと、その差は1ポイントで、米国モデルをキャッチアップした。コーディング・エージェント機能を評価するベンチ「DeepSWE」では、Kimi K3は、GPT-5.6 SolとFable 5に次いで三位のポジションを占める。Kimi K3は、ソフトウェア開発とエージェント機能が大幅に強化された。

出典: Artificial Analysis 

Kimi K3の規模

Kimi K3は中国で最大規模のモデルで、パラメータ数は2.8T(兆)となる(下のグラフ)。前世代モデル「Kimi K2」のパラメータ数は1.04Tで、K3でこれが倍増した。DeepSeekの最新モデル「DeepSeek V4 Pro」のパラメータ数は1.6Tで、これを大きく上回る。これらのモデルはすべて「Mixture of Experts(MoE)」の方式を取り、大型モデルはMoEが標準アーキテクチャとなった。米国企業はパラメータ数を公開しておらず、直接比較することはできないが、GPT-5.5は9.7Tと言われている。つまり、Kimi K3はGPT-5.5の30％程度の規模で、同等の性能をマークし、モデルは極めて効率的なアーキテクチャとなっていることを示している。

出典: Moonshot AI

Kimi K3の利用料金

Kimi K3を利用するには、Moonshot AIのサイトでモデルのAPIにアクセスするのが、標準手法となる。Moonshot AIがホスティングしているKimi K3を利用する方式で、その利用料金は下記のテーブル(左端)となる。InputとOutputで、それぞれの料金は、$3.00 / MTokと$15.00 / MTokとなる。これをOpenAIのGPT-5.6 Solと比較すると、Kimi K3の料金は75％と設定されている。ほぼ同等の性能を25％引で利用できるが、激安料金というわけでは無い。

出典: Moonshot AI

Kimi K3の実質価格

API価格で比較すると、Kimi K3はGPT-5.6 Solの75％に設定されているが、実際にタスクを実行したときの実質価格「Cost per Task」は大きく異なる。特定のタスクを実行したときに発生するコストを比較すると、Kimi K3(max)は$0.84で、GPT-5.6 Sol(max)は$0.95となる(下のグラフ)。Kimi K3の実行価格はGPT-5.6 Solの88％で、その差は更に小さくなる。これは、同じタスクを実行するとき、GPT-5.6 Solは少ないトークンでタスクを完了できることを意味する。

出典: Artificial Analysis

Moonshot AIは米国で事業を開始

Moonshot AIは、米国のクラウド企業と提携して、Kimi K3を米国内でホスティングする事業を急速に進めている。米国のインファレンス・クラウド事業者Together AIと提携し、Kimi K3を米国内で利用できるようにした(下のグラフィック)。Kimi K3をMoonshot AIのクラウドで利用すると、データが中国に送られ、企業はプライバシーやセキュリティに関し、重大な懸念を抱いている。このため、Moonshot AIはTogether AIと提携し、モデルを米国内に閉じて使うことで、この懸念を払しょくし、事業拡大を狙う。この他に、BasetenやFirewaroksなど、クラウド事業者と提携し、Kimi K3を米国内で普及させる戦略を展開している。

出典: Moonshot AI

米国主要クラウドに事業拡大

Moonshot AIは、米国のハイパースケーラである、Amazon AWS、Microsoft Azure、Google Cloudと、Kimi K3のホスティングについて、交渉を開始した。これらクラウドはKimi K3をホスティングし、米国企業にサービスを提供する。API利用料金は、Moonshot AIと同額に設定され、収入の30％をMoonshot AIが徴収するモデルと言われている。Moonshot AIはオープンソース事業を展開するが、収入源の中心は第三者クラウドのAPI利用料金の一部となる。中国のオープンソース事業は、米国のクローズドソースの事業形態に急接近している。(下のスクリーンショット、Google Cloud、自社モデルを中心にホスティング)

出典: Google

セルフホスティング

Kimi K3はオープンソースであり、AIレポジトリ「Hugging Face」からダウンロードして、無償で利用することができる(下のグラフィック)。K3は巨大なモデルで、ファイルサイズは1.56 TBで、118のファイルから構成される。これを実行するためには、4ユニットのH100又はA100が最低条件で、VRAMの容量は320GBとなる。Macなど消費者向け製品では稼働できず、専用のGPUサーバが必要となる。セルフホスティングのケースでは、Kimi K3のライセンス料は無料であるが、GPUサーバなど、計算環境の整備が必要となる。

出典: Hugging Face

中国AIモデルはもう安くない

Kimi K3は大規模モデルで、その開発には多大なコストがかかっている。これを無償、又は、激安価格で提供すると、ビジネスは成立しない。Moonshot AIは、API価格を大幅に値上げし、米国フロンティアモデルと同レベルとなった。中国AIモデルは激安という時代は終わりとなり、米国モデルと性能や価格を比較して、ベストなモデルを選ぶことが求められる。

NvidiaはオープンソースAIの業界連合「Open Secure AI Alliance」を設立、AIセキュリティを強化する技術やツールを共有しサイバー攻撃を防御

NvidiaはオープンソースAIのアライアンス「Open Secure AI Alliance」を設立した。アライアンスは業界団体のイニシアティブで、Nvidiaの他に、Linux Foundationや主要IT企業から構成される。アライアンスはオープンソースAIの安全性を強化し、サイバー攻撃に備えることをミッションとする。アライアンスはセキュリティ技術やフレームワークやガードレールを開発し、これを業界団体で共有する。クローズドソースAIでセキュリティに関するインシデントが相次ぐ中、アライアンスは危険性をオープンな手法で制御するアプローチを取る。(下のグラフィックス、アライアンス加盟団体)

出典: Nvidia

アライアンスのミッション

アライアンスはサイバーセキュリティを強化するためには、オープンAIモデル、オープン・ハーネス、ツールが必要であると考える。サイバーセキュリティ責任者はオープンモデルを使うことで、インシデントを検査し、また、モデルを改良することで、AIシステムを安全に運用できる。現在、AIモデルの選択肢は少なく、少数のクローズドソースに限られる。しかし、これらシステムの内部構造はブラックボックスで、セキュリティ機能はベンダーに依存する構造となる。

クローズドソースのインシデントが多発

現実社会で、クローズドソースによるサイバーセキュリティのインシデントが相次いで発生している。OpenAIのフロンティアモデルがサイバーセキュリティの重大インシデントを引き起こした。モデルがOpenAIの試験環境から脱出し、レポジトリHugging Faceを攻撃し、サイトに侵入してベンチマークに関する情報を盗み出した。また、AnthropicとMetaも同様なセキュリティ・インシデントが発生したことを公表した。

オープンソースのセキュリティツール

アライアンスのメンバーはサイバーセキュリティツールを提供し、これを業界で共有することでAIシステムの安全性を強化する戦略を取る。加盟企業から30を超えるツールやAIモデルが提供され、アライアンスはこれらをオープンソースとして公開した。これらはAIスタックの全体をカバーし、主なツールとその提供企業は次の通りとなる：

  • 認証と権限付与：AIエージェントやサービスがシステムのリソースにアクセスするのを認証するフレームワーク
    • Agent Identity Reference Implementations (Okta)
    • asago (Red Hat)
  • ハーネス・レッドチームツール：AIエージェントを試験、監視、監査、管理するための枠組み
    • NOOA / NVIDIA Labs Object-Oriented Agent (NVIDIA)
    • RAMPART, Clarity, & Assert (Microsoft)：レッドチームの検証ツール
    • Grok Build (SpaceXAI)
  • モデルセキュリティとランタイムの防衛：AIモデルを安全に実行するツールと、AIエージェントをセキュアに実行できるサンドボックス
    • NVIDIA OpenShell (NVIDIA)：AIエージェント向けサンドボックス (※)
    • NeMo Suite & Garak (NVIDIA)：NeMoのガードレールやデータ保護
    • DefenseClaw & Antares (Cisco)：AIエージェント向けサンドボックス
    • Safetensors (Hugging Faceほか)：モデルの重みを安全に格納する形式
    • Lightwell (IBMほか)：セキュリティパッチの安全な配布モデル
  • 監視・評価・攻撃検知：AIエージェントの挙動を監視し、問題を評価し、攻撃のシグナルを検知するツール
    • ADR / Agentic AI Detection and Response (Uber)
    • Numbat (Perplexity)

(※) NVIDIA OpenShellはAIエージェントを安全に開発・実行する環境で、サンドボックス内でモデルを運用する(下のイメージ)。

出典: Nvidia

SAFE Guidelines

同時に、アライアンスは「Shared AI Findings Exchange (SAFE)」の設立を提唱した。SAFEはセキュリティに関するフレームワークで、AIセキュリティインシデント情報を共有し、サイバー攻撃に備えることを目的とする。これはNASAの「航空安全報告システム(Aviation Safety Reporting System)」をモデルにしたもので、エラーを収集・分析し、インシデントを未然に防ぐための仕組みとなる。参加メンバーが経験したセキュリティに関するインシデントや“ニアミス”などの社内情報を報告することで、サイバー攻撃への耐性を強化するガイドラインを生成し、これを業界で共有する。「SAFE」はワーキンググループを設立するため、会員から意見を求めている。

Nvidiaがオープンソースの先導者

米国ではAIモデルの殆どがクローズドソースで、オープンソースはNvidiaの「Nemotron」、SpaceXAIの「Grok-2」、Metaの「Muse Glimmer」などに限られている。Nvidiaがオープンソース推進者で、AIモデル「Nemotron」を公開するに留まらず、Open Secure AI Allianceの設立など、エコシステムの拡大を進めている。NvidiaはGPUなどAIプロセッサを提供しており、オープンソースの普及でビジネスを拡大させるという狙いもある。(下のグラフ、オープンソースはKimi K3やGLM-5.2など中国モデルがトップ集団を形成、米国モデルではInklingが6位で、Nemotron Ultra 3が7位)

出典: Artificial Analysis

AIエージェントのセキュリティ

NvidiaはAIエージェントのセキュリティが次の大きなチャレンジになると考える。企業はAIエージェントの展開で、クローズドソースとオープンソースを併用するハイブリッドなモデルを構成する。クローズドソースではOpenAIなどが提供するAPIを利用するが、オープンソースではシステムを自社のサーバで展開する。後者のケースでは、サイバー攻撃を防御する責任は運営企業にあり、サイバーセキュリティのフレームワークやツールが求められる。Open Secure AI Allianceがこの役割を担い、企業や団体がAIエージェントをセキュアに運用するフレームワークを提供する。