AGIのリリースが目前に迫るなか、AnthropicはAGIが社会にもたらすインパクトを研究する組織「Anthropic Institute」を開設した。AGIは社会に多大な恩恵をもたらすと期待されるが、同時に、社会構造が根本から変わり大きな混乱が予想される。Anthropic Instituteは同社のフロンティアモデルをベースに、技術・社会・経済の観点からこれを検証し、責任あるAGI開発を実施する。AGI社会にソフトランディングすることが究極のゴールとなる。

Anthropic Instituteとは

Anthropic InstituteはAGIのインパクトを研究するシンクタンクとして位置付けられる(下の写真、イメージ)。共同創設者であるJack Clarkが代表を務め、技術から経済まで幅広い分野の専門家から成るチームで構成される。「Frontier Red Team」はAGIを技術の観点から検証する。「Societal Impact Team」はAGIの利用方法など社会に及ぼすインパクトを検証する。「Economic Research Team」はAGIが雇用や経済に与える影響を継続して監視する。(AnthropicはAGIという用語は使わず、これを「Powerful AI」と表現する。ここでは用語を統一するために「AGI」と記載する。)

研究対象エリア

Anthropic InstituteはAGI社会で発生が予測される問題を中心に研究を進める。AGIに関して様々な問いが投げかけられており、これらに回答することを主題とする。対象領域は：

• 雇用と社会：AGIは雇用や社会にどのようなインパクトを与えるか
• リスクと耐性：AGIはどのようなリスクをもたらすか、また、社会はこれらのリスクに耐えることができるか
• 価値観：AGIの価値をどう評価するか
• 回帰型システム：AGIが自己の機能を改良する技術(Recursive Self-Improving)をどう制御するか

大規模フィールド調査

Anthropic InstituteはAIに期待する機能について大規模な調査を実施した(下の写真)。159か国の81,000人の利用者を対象に、AIをどのように活用しているか、また、AIをどのように使いたいかにつて、包括的なデータを収集した。この調査ではAIモデルが「調査エージェント (Anthropic Interviewer)」となり、利用者と対話する形式でデータを収集した。更に、調査エージェントが収集したデータを解析し、それを特性に基づいて分類・階層化した。フィールド調査の全てのプロセスを調査エージェントが実行した。

AIモデルに期待すること

調査ではAIモデルに期待することを質問し、その結果を９のカテゴリーに分類した(下のグラフ)。そのトップが、「Professional Excellence」で、AIモデルをルーチン業務に適用し、専門分野で才能を発揮することを期待している実態が明らかになった。期待していることの主要項目は：

• Professional Excellence (18.8%)：専門職で才能を発揮、ルーチン作業をAIモデルで実行し、空いた時間で意味のある仕事を遂行
• Personal Transformation (13.7%)：健康やメンタルヘルの改善、AIで自分自身を理解しフィジカルヘルスやメンタルヘルスを改善
• Life Management (13.5%)：日々のスケジュール管理、AIを秘書として使い、日程管理など生活や仕事をオーガナイズ
• Financial Independence (9.7%)：経済的な自立、AIでビジネスを立ち上げ、収益をあげ、仕事に縛られない生活をすること
• Societal Transformation (9.4%)：グローバルな問題を解決、AIで病気、貧困、地球温暖化問題などを解決
• Learning & Growth (8.4%)：パーソナル・チューター：AIを個人教師として利用し、新しい分野のスキルを獲得

何を恐れているか

調査エージェントはAGIに関する懸念事項や切迫する恐怖感について質問した。AGIがリリースされると社会は劇的に変わり個人生活が激変する。人々は将来を予見できなくなり、多大な恐怖感を抱いていることが明らかになった。その主なものは：

• Job & Economic Displacement：AIにより職を奪われること
• Cognitive Atrophy & Loss of Autonomy：AIにより人間は考えることを停止し、思考能力が退化すること
• Unreliability & Misinformation：AIが出力する情報は誤りを含み、人間がこれをチェックす作業が大きな負担となる
• Loss of Meaning & Creativity：AIにより人間の創造性の価値が下がり、存在感が低下する
• Wellbeing & Dependency：AIと会話する時間が長くなり、社会的に孤立する。人間の代わりにAIを友人として選ぶという異常事態

AGIトラスト

Anthropic Instituteは技術・社会・経済に関する検証チームから成るシンクタンクとして位置付けられ、AGIの開発や運用を安全に実行するための組織となる。この組織や手法が米国におけるAGIトラストのテンプレートとして捉えられる。米国連邦政府はAI規制を撤廃し、企業がフリーハンドで先進技術を開発する政策を取る。米国では法令による規制ではなく、民間企業がAGI開発と運用を責任もって遂行する自主規制の路線が取られる。AGIにおいてはAnthropic Instituteがその先端を進み、AI業界がその成果に着目している。

Anthropicはソフトウェアのセキュリティを強化する機能「Claude Code Security」をリリースした。これは、コーディング・エージェント「Claude Code」に搭載された機能で、コードベースをスキャンしてセキュリティの脆弱性を洗い出す。また、Claude Code Securityは、セキュリティホールを改修するためのコードを生成する。既に、AnthropicはClaude 4.6でオープンソースをスキャンして、500件のセキュリティホールを検知している。Claude Code Securityによりセキュリティ製品が不要になり、主要セキュリティ企業の株価が一様に下落した。

Claude Code Securityとは

「Claude Code Security」はコーディング・エージェント「Claude Code」に実装されている。Claude Codeの初期画面で「Scan Code」のボタンをクリックして起動させる(下の写真)。Claude Code Securityはコードベースをスキャンしてセキュリティの欠陥や弱点(脆弱性)を検知して、これを修正するための修正コード(パッチ)を生成する。エンジニアがこれを検証してソフトウェアに適用するプロセスとなる。Claude Code Securityはベータ版として一部の研究者向けに公開され評価作業を進めている。

従来のセキュリティ手法

コードベースをスキャンしてセキュリティの脆弱性を検知するツールは幅広く使われている。「SonarQube」や「Checkmarx」などがその代表で、コードベースをスキャンして安全性に関する問題点を見つけ出す(下の写真)。これらは開発中のコードベースを検証し、セキュリティに関する問題点を洗い出すために使われる。その手法は「Static Application Security Testing」と呼ばれ、事前に設定したルールに準拠してセキュリティホールを検知する仕組みとなる。

Claude Code Securityの手法

これに対し、Claude Code SecurityはAIモデルをベースとし、インテリジェントな手法でセキュリティの脆弱性を検知する。Claude Code Securityは人間のようにコードを読み、その構造や意味を理解する。これにより、コンテクストの視点から問題点やエラーを見つけ出す。シンタックスにエラーがなく、正常にコンパイルでき、スペック通り機能するコードでも、コードのロジックを検知し問題点を見つけ出す。

Claude Code Securityが脆弱性を検知した事例

EコマースサイトでClaude Code Securityがセキュリティホールを検知した事例(下の写真)。このサイトはハッカーがデータに攻撃命令「Command Injection」を挿入しシステムの制御を奪う脆弱性がある。コードが外部ウェブサイトのデータを読み込む構造となっており、ハッカーはデータにShell Command(基本ソフトを操作する命令)を挿入すると、このコマンドが実行されEコマースサイトの制御を奪われる。

プルリクエストとマージ

Claude Code Securityはセキュリティの脆弱性を埋めるためにパッチを生成する。このパッチをそのままソフトウェアに適用するのではなく、人間がこれを検証して、正しいことを確認して実施するプロセスとなる。ソフトウェア開発の観点からは、Claude Code Securityが修正コードを生成して、チームメイト(人間)にこの検証を依頼する。これは「プルリクエスト(Pull Request)」と呼ばれ、この過程をClaude Code Securityが担う。人間がリクエストされたコードを検証し、正しいことを確認して、メインのコードに「マージ(Merge)」するプロセスとなる。最終判断はあくまで人間で、修正コードの責任は人間が担う。(下の写真、Claude Code Securityが生成したパッチ。上述の「Shell Command」を実行する命令が消去され、ハッカーは悪意あるコマンドをインジェクトしても、それはテキストとして処理され実行されない。)

セキュリティ企業の株価下落

AnthropicがClaude Code Securityをリリースした直後に、米国の主要セキュリティ企業の株価が下落した(下のグラフ)。セキュリティ大手のCrowdStrikeは8%、Zscalerは11％、下落した。現行のセキュリティ製品はルールベースで脆弱性を検知するが、Claude Code Securityは人間のようにコンテンツを理解してセキュリティホールを埋める。投資家の間で現行モデルがClaude Code Securityに置き換えられるとの懸念が広がっている。

セキュリティ企業の反論

これに対し、セキュリティ企業はClaude Code Securityは市場の一部をカバーするだけで、その影響は限定的であると反論している。セキュリティの対象分野は広く、Claude Code Securityは「Application Security」に区分される。これは、ソフトウェアなどアプリケーションのセキュリティを対象とする。この他に、サイバー攻撃をリアルタイムで検知する「Endpoint Security」、ファイアーウォールなど「Network Security」、認証管理など「Identity Management」など幅広い分野でセキュリティ製品が活躍している。Claude Code Securityは製品ポートフォリオのごく一部で、影響の範囲は限られると主張する。

シンメトリックな脅威

サイバー攻撃とその防御は「シンメトリックな脅威(Symmetric Threats)」と呼ばれる。サイバー攻撃ではAIを悪用し、システムの脆弱性を見つけ出し、そこから侵入してシステムの制御を奪う。これに対し、防御側はAIを活用し、システムをスキャンして脆弱性を洗い出し、問題個所を修正する。また、AIでサイバー攻撃のシグナルを検知し、侵入を食い止める。攻撃側と防御側で技術競争が進む中、防御側は攻撃者より一歩先行することで攻撃を食い止める。このため、高度なAIセキュリティを開発することが国家安全保障にとって至上命題となる。

Anthropicは中国企業からAIモデルの知識を盗み出す攻撃を受けたことを明らかにした。DeepSeekなど中国企業は「知識蒸留(Knowledge Distillation)」という手法で、Anthropicの先進モデル「Claude」から推論機能などを抽出した。米国政府はGPUプロセッサを中国に輸出することを制限しているが、中国企業はClaudeの知識を抽出することでこの規制を迂回した。攻撃手法は巧妙で、中国企業は巨大ネットワークを構築し、多数のアカウントから発信元情報(IPアドレス)を偽り、Anthropicのサーバにアクセスした。DeepSeekが短期間で高機能なAIモデルを開発し米国市場に衝撃を与えたが、Anthropic Claudeのスキルを盗用することでこれを達成したことが判明した。

攻撃の概要

Anthropicは2月23日、中国企業DeepSeek、 Moonshot、MiniMaxから「知識蒸留(Knowledge Distillation)」という手法で大規模な攻撃を受けたことを発表した。これら企業は、Anthropic Claudeから不正な手法で知識を蒸留(Illicit Distillation)し、AIモデルの開発で利用した。知識蒸留はAI開発で一般的に使われる技法であるが、他社の技術を抽出することは違法行為となる。

知識蒸留とは

知識蒸留は大規模モデルのスキルを抽出し、それを小規模モデルに転移し、短時間・低コストでAIモデルを開発する手法となる(下の写真)。AI開発で幅広く使われており、Anthropicのケースでは、ハイエンドモデル「Opus」の知識を知識蒸留の手法でローエンドモデル「Haiku」に転移した。HaikuはOpusの多くのスキルを修得し、モデルの開発を短時間・低コストで達成した。

不正な知識蒸留

これに対し中国企業三社は、知識蒸留の手法を、先進技術を盗むために悪用した。中国企業が標的とした先進技術はClaudeのAIエージェントに関連するもので、推論機能、コーディング機能、ツールを使う機能などが抽出された。攻撃の規模は巨大で、24,000の不正アカウントから1600万回のアクセスを受けた。不正な知識蒸留はAnthropicの使用契約に違反するだけでなく、米国の輸出規制にも抵触する。

中国への輸出規制

米国政府はNvidia GPU最新モデルなどAIプロセッサを中国に輸出することを規制している。中国企業がGPU最新モデルで高度なAIを開発することを制限することを目的とする。同時に、米国政府は中国から米国のAIモデルにアクセスすることを禁止している。プロセッサだけでなくソフトウェアに関しても、中国企業が使うことを禁じている。中国企業はGPU最新モデルが使えない環境で、Anthropic Claudeの知識を盗用することで、短期間で高度なモデルを生成した。

中国企業三社の攻撃手法

中国企業からの攻撃は大規模で、巧妙なネットワークを構築することで、Anthropicの防衛網を突破した。また、中国企業三社の攻撃対象技術は異なり、開発している製品に必須な技術を抽出したことが分かる。企業ごとの攻撃の手法は：

• DeepSeek：15万回のアクセスで推論機能を抽出  [高度な推論機能を持つ「DeepSeek-R1」をリリースしAI市場に衝撃をもたらした](下の写真)
• Moonshot AI：340万回のアクセスでエージェント機能とコーディング機能を抽出  [大容量メモリ(コンテキストウィンドウ)を搭載するモデル「Kimi」を開発]
• MiniMax：1300万回のアクセスでコーディング機能とツールを使う機能を抽出  [パーソナリティやマルチモダル機能に特徴がある個人向けのAIモデル「Talkie」を開発]

DeepSeekのケースを検証すると

DeepSeekの攻撃手法を検証すると中国企業のAI開発戦略の特殊性が浮かび上がる。DeepSeekの攻撃は三つの要素から構成され、短期間で高度な推論モデルを開発できた理由が分かる。

• 推論スキルの抽出：攻撃の目的は知識蒸留でClaudeに15万回アクセスしてスキルを盗み出した。DeepSeekのターゲットは推論機能で、Claudeに特殊なプロンプトを入力し、Claudeが思考する過程「Chain of Thoughts」を入手した。このChain of ThoughtsをDeepSeek R1に入力することで推論機能をコピーした。

• 同期型トラフィック：DeepSeekは巧妙な手法でAnthropicの防御システムを掻い潜った。単一のアカウントから大量のプロンプトを発信すると、攻撃のシグナルと判定され、Anthropicはトラフィックを遮断する。このため、多数のアカウントから構成されるネットワーク「Hydra Network」を構築し、アカウント間でClaudeへのアクセス時間を調整し、ロードバランシングによる攻撃を実行した。単一のアカウントからのアクセス時間を短くし、作業を持ち回りで実行した。

• 中国政府の検閲：中国政府はAIモデルが中国共産党の思想に準拠することを求める。DeepSeekは天安門事件など不都合な情報を出力することは禁止されている。しかし、出力を抑制すると利用者から知識が不十分と批判される。そのため、DeepSeekはClaudeに最適な解答モデルを生成することを求め、この回答をベースにDeepSeekを教育した。

知識蒸留の危険性

Anthropicは、中国企業がClaudeの知識をコピーすることで、基礎研究のフェイズをスキップして、短期間に米国モデルに追い付くことができる、と警鐘を鳴らした。更に、Claudeのスキルが抜き取られると、中国のAIモデルが高度なインテリジェンスを持ち、それが悪用されると重大なリスクが発生する。AnthropicはClaudeが悪用されてCBRN(Chemical, biological, radiological, nuclear)兵器を開発することを抑制するため、ガードレールを設け兵器開発に関する回答をブロックしている。しかし、中国企業がガードレールを設けないでそのまま使うと、CNRN兵器の開発に繋がり、世界の安全保障が脅かされる。

OpenAIの議会報告書

OpenAIはこれに先立ち、米国連邦議会下院の委員会に、中国企業による知識蒸留に関する報告書を提出した。OpenAIは、DeepSeekが知識蒸留の手法でOpenAI GPT-4やo1からスキルをコピーしたと述べ、中国企業は短期間で度高度な推論モデルを生み出したと結論付けた。また、DeepSeekは第三者のプロキシサービス(「Obfuscated Proxy」、デバイスが米国内にあるよう装う手法)を使ってOpenAIの制限を掻い潜った。OpenAIは中国からのアクセスを禁止しするためジオブロッキングを導入しているが、Obfuscated Proxyを使うことでこれを突破した。

AIモデルへのサイバー攻撃は多彩

AIモデルはサイバー攻撃への耐性が低くセキュリティ強化が課題となってきた。AIモデルへのサイバー攻撃は四種類に区分され(上の写真)、知識蒸留は「Model Extraction」という攻撃手法となる。AIモデルに特殊なプロンプトを入力し、アルゴリズムの中身を盗み出す攻撃となる。この他に、AIモデルは教育と実行の過程でサイバー攻撃を受ける。前者は教育データを汚染する手法で、「Poisoning Attacks」と呼ばれ、開発されたモデルは正常に稼働しない。後者は実行時に、AIモデルに悪意あるデータを入力するもので「Evasion Attacks」と呼ばれ、システムを誤作動させる。この他に、AIモデルのバイアスや重みを改ざんし、システムを誤作動させる「Model Tempering」という攻撃がある。AnthropicとOpenAIだけでなく、高度なAIモデルを運用している企業はサイバー攻撃を受ける可能性が高く、セキュリティを強化することが喫緊の課題となる。