NvidiaはオープンソースAIのアライアンス「Open Secure AI Alliance」を設立した。アライアンスは業界団体のイニシアティブで、Nvidiaの他に、Linux Foundationや主要IT企業から構成される。アライアンスはオープンソースAIの安全性を強化し、サイバー攻撃に備えることをミッションとする。アライアンスはセキュリティ技術やフレームワークやガードレールを開発し、これを業界団体で共有する。クローズドソースAIでセキュリティに関するインシデントが相次ぐ中、アライアンスは危険性をオープンな手法で制御するアプローチを取る。(下のグラフィックス、アライアンス加盟団体)
| 出典: Nvidia |
アライアンスのミッション
アライアンスはサイバーセキュリティを強化するためには、オープンAIモデル、オープン・ハーネス、ツールが必要であると考える。サイバーセキュリティ責任者はオープンモデルを使うことで、インシデントを検査し、また、モデルを改良することで、AIシステムを安全に運用できる。現在、AIモデルの選択肢は少なく、少数のクローズドソースに限られる。しかし、これらシステムの内部構造はブラックボックスで、セキュリティ機能はベンダーに依存する構造となる。
クローズドソースのインシデントが多発
現実社会で、クローズドソースによるサイバーセキュリティのインシデントが相次いで発生している。OpenAIのフロンティアモデルがサイバーセキュリティの重大インシデントを引き起こした。モデルがOpenAIの試験環境から脱出し、レポジトリHugging Faceを攻撃し、サイトに侵入してベンチマークに関する情報を盗み出した。また、AnthropicとMetaも同様なセキュリティ・インシデントが発生したことを公表した。
オープンソースのセキュリティツール
アライアンスのメンバーはサイバーセキュリティツールを提供し、これを業界で共有することでAIシステムの安全性を強化する戦略を取る。加盟企業から30を超えるツールやAIモデルが提供され、アライアンスはこれらをオープンソースとして公開した。これらはAIスタックの全体をカバーし、主なツールとその提供企業は次の通りとなる：
- 認証と権限付与：AIエージェントやサービスがシステムのリソースにアクセスするのを認証するフレームワーク
- Agent Identity Reference Implementations (Okta)
- asago (Red Hat)
- ハーネス・レッドチームツール：AIエージェントを試験、監視、監査、管理するための枠組み
- NOOA / NVIDIA Labs Object-Oriented Agent (NVIDIA)
- RAMPART, Clarity, & Assert (Microsoft)：レッドチームの検証ツール
- Grok Build (SpaceXAI)
- モデルセキュリティとランタイムの防衛：AIモデルを安全に実行するツールと、AIエージェントをセキュアに実行できるサンドボックス
- NVIDIA OpenShell (NVIDIA)：AIエージェント向けサンドボックス (※)
- NeMo Suite & Garak (NVIDIA)：NeMoのガードレールやデータ保護
- DefenseClaw & Antares (Cisco)：AIエージェント向けサンドボックス
- Safetensors (Hugging Faceほか)：モデルの重みを安全に格納する形式
- Lightwell (IBMほか)：セキュリティパッチの安全な配布モデル
- 監視・評価・攻撃検知：AIエージェントの挙動を監視し、問題を評価し、攻撃のシグナルを検知するツール
- ADR / Agentic AI Detection and Response (Uber)
- Numbat (Perplexity)
(※) NVIDIA OpenShellはAIエージェントを安全に開発・実行する環境で、サンドボックス内でモデルを運用する(下のイメージ)。
| 出典: Nvidia |
SAFE Guidelines
同時に、アライアンスは「Shared AI Findings Exchange (SAFE)」の設立を提唱した。SAFEはセキュリティに関するフレームワークで、AIセキュリティインシデント情報を共有し、サイバー攻撃に備えることを目的とする。これはNASAの「航空安全報告システム(Aviation Safety Reporting System)」をモデルにしたもので、エラーを収集・分析し、インシデントを未然に防ぐための仕組みとなる。参加メンバーが経験したセキュリティに関するインシデントや“ニアミス”などの社内情報を報告することで、サイバー攻撃への耐性を強化するガイドラインを生成し、これを業界で共有する。「SAFE」はワーキンググループを設立するため、会員から意見を求めている。
Nvidiaがオープンソースの先導者
米国ではAIモデルの殆どがクローズドソースで、オープンソースはNvidiaの「Nemotron」、SpaceXAIの「Grok-2」、Metaの「Muse Glimmer」などに限られている。Nvidiaがオープンソース推進者で、AIモデル「Nemotron」を公開するに留まらず、Open Secure AI Allianceの設立など、エコシステムの拡大を進めている。NvidiaはGPUなどAIプロセッサを提供しており、オープンソースの普及でビジネスを拡大させるという狙いもある。(下のグラフ、オープンソースはKimi K3やGLM-5.2など中国モデルがトップ集団を形成、米国モデルではInklingが6位で、Nemotron Ultra 3が7位)
| 出典: Artificial Analysis |
AIエージェントのセキュリティ
NvidiaはAIエージェントのセキュリティが次の大きなチャレンジになると考える。企業はAIエージェントの展開で、クローズドソースとオープンソースを併用するハイブリッドなモデルを構成する。クローズドソースではOpenAIなどが提供するAPIを利用するが、オープンソースではシステムを自社のサーバで展開する。後者のケースでは、サイバー攻撃を防御する責任は運営企業にあり、サイバーセキュリティのフレームワークやツールが求められる。Open Secure AI Allianceがこの役割を担い、企業や団体がAIエージェントをセキュアに運用するフレームワークを提供する。
Emerging Technology Review 