Anthropicはソフトウェアのセキュリティを強化する機能「Claude Code Security」をリリースした。これは、コーディング・エージェント「Claude Code」に搭載された機能で、コードベースをスキャンしてセキュリティの脆弱性を洗い出す。また、Claude Code Securityは、セキュリティホールを改修するためのコードを生成する。既に、AnthropicはClaude 4.6でオープンソースをスキャンして、500件のセキュリティホールを検知している。Claude Code Securityによりセキュリティ製品が不要になり、主要セキュリティ企業の株価が一様に下落した。

出典: Anthropic

Claude Code Securityとは

「Claude Code Security」はコーディング・エージェント「Claude Code」に実装されている。Claude Codeの初期画面で「Scan Code」のボタンをクリックして起動させる(下の写真)。Claude Code Securityはコードベースをスキャンしてセキュリティの欠陥や弱点(脆弱性)を検知して、これを修正するための修正コード(パッチ)を生成する。エンジニアがこれを検証してソフトウェアに適用するプロセスとなる。Claude Code Securityはベータ版として一部の研究者向けに公開され評価作業を進めている。

出典: Anthropic

従来のセキュリティ手法

コードベースをスキャンしてセキュリティの脆弱性を検知するツールは幅広く使われている。「SonarQube」や「Checkmarx」などがその代表で、コードベースをスキャンして安全性に関する問題点を見つけ出す(下の写真)。これらは開発中のコードベースを検証し、セキュリティに関する問題点を洗い出すために使われる。その手法は「Static Application Security Testing」と呼ばれ、事前に設定したルールに準拠してセキュリティホールを検知する仕組みとなる。

出典: SonarQube

Claude Code Securityの手法

これに対し、Claude Code SecurityはAIモデルをベースとし、インテリジェントな手法でセキュリティの脆弱性を検知する。Claude Code Securityは人間のようにコードを読み、その構造や意味を理解する。これにより、コンテクストの視点から問題点やエラーを見つけ出す。シンタックスにエラーがなく、正常にコンパイルでき、スペック通り機能するコードでも、コードのロジックを検知し問題点を見つけ出す。

Claude Code Securityが脆弱性を検知した事例

EコマースサイトでClaude Code Securityがセキュリティホールを検知した事例(下の写真)。このサイトはハッカーがデータに攻撃命令「Command Injection」を挿入しシステムの制御を奪う脆弱性がある。コードが外部ウェブサイトのデータを読み込む構造となっており、ハッカーはデータにShell Command(基本ソフトを操作する命令)を挿入すると、このコマンドが実行されEコマースサイトの制御を奪われる。

出典: Anthropic

プルリクエストとマージ

Claude Code Securityはセキュリティの脆弱性を埋めるためにパッチを生成する。このパッチをそのままソフトウェアに適用するのではなく、人間がこれを検証して、正しいことを確認して実施するプロセスとなる。ソフトウェア開発の観点からは、Claude Code Securityが修正コードを生成して、チームメイト(人間)にこの検証を依頼する。これは「プルリクエスト(Pull Request)」と呼ばれ、この過程をClaude Code Securityが担う。人間がリクエストされたコードを検証し、正しいことを確認して、メインのコードに「マージ(Merge)」するプロセスとなる。最終判断はあくまで人間で、修正コードの責任は人間が担う。(下の写真、Claude Code Securityが生成したパッチ。上述の「Shell Command」を実行する命令が消去され、ハッカーは悪意あるコマンドをインジェクトしても、それはテキストとして処理され実行されない。)

出典: Anthropic

セキュリティ企業の株価下落

AnthropicがClaude Code Securityをリリースした直後に、米国の主要セキュリティ企業の株価が下落した(下のグラフ)。セキュリティ大手のCrowdStrikeは8%、Zscalerは11％、下落した。現行のセキュリティ製品はルールベースで脆弱性を検知するが、Claude Code Securityは人間のようにコンテンツを理解してセキュリティホールを埋める。投資家の間で現行モデルがClaude Code Securityに置き換えられるとの懸念が広がっている。

出典: SeekingAlpha

セキュリティ企業の反論

これに対し、セキュリティ企業はClaude Code Securityは市場の一部をカバーするだけで、その影響は限定的であると反論している。セキュリティの対象分野は広く、Claude Code Securityは「Application Security」に区分される。これは、ソフトウェアなどアプリケーションのセキュリティを対象とする。この他に、サイバー攻撃をリアルタイムで検知する「Endpoint Security」、ファイアーウォールなど「Network Security」、認証管理など「Identity Management」など幅広い分野でセキュリティ製品が活躍している。Claude Code Securityは製品ポートフォリオのごく一部で、影響の範囲は限られると主張する。

シンメトリックな脅威

サイバー攻撃とその防御は「シンメトリックな脅威(Symmetric Threats)」と呼ばれる。サイバー攻撃ではAIを悪用し、システムの脆弱性を見つけ出し、そこから侵入してシステムの制御を奪う。これに対し、防御側はAIを活用し、システムをスキャンして脆弱性を洗い出し、問題個所を修正する。また、AIでサイバー攻撃のシグナルを検知し、侵入を食い止める。攻撃側と防御側で技術競争が進む中、防御側は攻撃者より一歩先行することで攻撃を食い止める。このため、高度なAIセキュリティを開発することが国家安全保障にとって至上命題となる。

Anthropicは中国企業からAIモデルの知識を盗み出す攻撃を受けたことを明らかにした。DeepSeekなど中国企業は「知識蒸留(Knowledge Distillation)」という手法で、Anthropicの先進モデル「Claude」から推論機能などを抽出した。米国政府はGPUプロセッサを中国に輸出することを制限しているが、中国企業はClaudeの知識を抽出することでこの規制を迂回した。攻撃手法は巧妙で、中国企業は巨大ネットワークを構築し、多数のアカウントから発信元情報(IPアドレス)を偽り、Anthropicのサーバにアクセスした。DeepSeekが短期間で高機能なAIモデルを開発し米国市場に衝撃を与えたが、Anthropic Claudeのスキルを盗用することでこれを達成したことが判明した。

出典: Anthropic

攻撃の概要

Anthropicは2月23日、中国企業DeepSeek、 Moonshot、MiniMaxから「知識蒸留(Knowledge Distillation)」という手法で大規模な攻撃を受けたことを発表した。これら企業は、Anthropic Claudeから不正な手法で知識を蒸留(Illicit Distillation)し、AIモデルの開発で利用した。知識蒸留はAI開発で一般的に使われる技法であるが、他社の技術を抽出することは違法行為となる。

知識蒸留とは

知識蒸留は大規模モデルのスキルを抽出し、それを小規模モデルに転移し、短時間・低コストでAIモデルを開発する手法となる(下の写真)。AI開発で幅広く使われており、Anthropicのケースでは、ハイエンドモデル「Opus」の知識を知識蒸留の手法でローエンドモデル「Haiku」に転移した。HaikuはOpusの多くのスキルを修得し、モデルの開発を短時間・低コストで達成した。

出典: Jianping Gou et al.

不正な知識蒸留

これに対し中国企業三社は、知識蒸留の手法を、先進技術を盗むために悪用した。中国企業が標的とした先進技術はClaudeのAIエージェントに関連するもので、推論機能、コーディング機能、ツールを使う機能などが抽出された。攻撃の規模は巨大で、24,000の不正アカウントから1600万回のアクセスを受けた。不正な知識蒸留はAnthropicの使用契約に違反するだけでなく、米国の輸出規制にも抵触する。

中国への輸出規制

米国政府はNvidia GPU最新モデルなどAIプロセッサを中国に輸出することを規制している。中国企業がGPU最新モデルで高度なAIを開発することを制限することを目的とする。同時に、米国政府は中国から米国のAIモデルにアクセスすることを禁止している。プロセッサだけでなくソフトウェアに関しても、中国企業が使うことを禁じている。中国企業はGPU最新モデルが使えない環境で、Anthropic Claudeの知識を盗用することで、短期間で高度なモデルを生成した。

中国企業三社の攻撃手法

中国企業からの攻撃は大規模で、巧妙なネットワークを構築することで、Anthropicの防衛網を突破した。また、中国企業三社の攻撃対象技術は異なり、開発している製品に必須な技術を抽出したことが分かる。企業ごとの攻撃の手法は：

• DeepSeek：15万回のアクセスで推論機能を抽出  [高度な推論機能を持つ「DeepSeek-R1」をリリースしAI市場に衝撃をもたらした](下の写真)
• Moonshot AI：340万回のアクセスでエージェント機能とコーディング機能を抽出  [大容量メモリ(コンテキストウィンドウ)を搭載するモデル「Kimi」を開発]
• MiniMax：1300万回のアクセスでコーディング機能とツールを使う機能を抽出  [パーソナリティやマルチモダル機能に特徴がある個人向けのAIモデル「Talkie」を開発]

出典: DeepSeek

DeepSeekのケースを検証すると

DeepSeekの攻撃手法を検証すると中国企業のAI開発戦略の特殊性が浮かび上がる。DeepSeekの攻撃は三つの要素から構成され、短期間で高度な推論モデルを開発できた理由が分かる。

• 推論スキルの抽出：攻撃の目的は知識蒸留でClaudeに15万回アクセスしてスキルを盗み出した。DeepSeekのターゲットは推論機能で、Claudeに特殊なプロンプトを入力し、Claudeが思考する過程「Chain of Thoughts」を入手した。このChain of ThoughtsをDeepSeek R1に入力することで推論機能をコピーした。

• 同期型トラフィック：DeepSeekは巧妙な手法でAnthropicの防御システムを掻い潜った。単一のアカウントから大量のプロンプトを発信すると、攻撃のシグナルと判定され、Anthropicはトラフィックを遮断する。このため、多数のアカウントから構成されるネットワーク「Hydra Network」を構築し、アカウント間でClaudeへのアクセス時間を調整し、ロードバランシングによる攻撃を実行した。単一のアカウントからのアクセス時間を短くし、作業を持ち回りで実行した。

• 中国政府の検閲：中国政府はAIモデルが中国共産党の思想に準拠することを求める。DeepSeekは天安門事件など不都合な情報を出力することは禁止されている。しかし、出力を抑制すると利用者から知識が不十分と批判される。そのため、DeepSeekはClaudeに最適な解答モデルを生成することを求め、この回答をベースにDeepSeekを教育した。

知識蒸留の危険性

Anthropicは、中国企業がClaudeの知識をコピーすることで、基礎研究のフェイズをスキップして、短期間に米国モデルに追い付くことができる、と警鐘を鳴らした。更に、Claudeのスキルが抜き取られると、中国のAIモデルが高度なインテリジェンスを持ち、それが悪用されると重大なリスクが発生する。AnthropicはClaudeが悪用されてCBRN(Chemical, biological, radiological, nuclear)兵器を開発することを抑制するため、ガードレールを設け兵器開発に関する回答をブロックしている。しかし、中国企業がガードレールを設けないでそのまま使うと、CNRN兵器の開発に繋がり、世界の安全保障が脅かされる。

OpenAIの議会報告書

OpenAIはこれに先立ち、米国連邦議会下院の委員会に、中国企業による知識蒸留に関する報告書を提出した。OpenAIは、DeepSeekが知識蒸留の手法でOpenAI GPT-4やo1からスキルをコピーしたと述べ、中国企業は短期間で度高度な推論モデルを生み出したと結論付けた。また、DeepSeekは第三者のプロキシサービス(「Obfuscated Proxy」、デバイスが米国内にあるよう装う手法)を使ってOpenAIの制限を掻い潜った。OpenAIは中国からのアクセスを禁止しするためジオブロッキングを導入しているが、Obfuscated Proxyを使うことでこれを突破した。

出典: Google Gemini Pro Image

AIモデルへのサイバー攻撃は多彩

AIモデルはサイバー攻撃への耐性が低くセキュリティ強化が課題となってきた。AIモデルへのサイバー攻撃は四種類に区分され(上の写真)、知識蒸留は「Model Extraction」という攻撃手法となる。AIモデルに特殊なプロンプトを入力し、アルゴリズムの中身を盗み出す攻撃となる。この他に、AIモデルは教育と実行の過程でサイバー攻撃を受ける。前者は教育データを汚染する手法で、「Poisoning Attacks」と呼ばれ、開発されたモデルは正常に稼働しない。後者は実行時に、AIモデルに悪意あるデータを入力するもので「Evasion Attacks」と呼ばれ、システムを誤作動させる。この他に、AIモデルのバイアスや重みを改ざんし、システムを誤作動させる「Model Tempering」という攻撃がある。AnthropicとOpenAIだけでなく、高度なAIモデルを運用している企業はサイバー攻撃を受ける可能性が高く、セキュリティを強化することが喫緊の課題となる。

Anthropicは言葉だけでプログラムをコーディングする「バイブコーディング」でCコンパイラを開発することに成功した。Cコンパイラは大規模なソフトウェアで社会インフラを支える。Anthropicはエンジニアの介在なく、AIエージェントだけでソフトウェアを開発できることを実証した。このインパクトは大きく、SaaS企業の株価が大きく下落し、ソフトウェア産業崩壊の議論が白熱している。

出典: Anthropic

フラッグシップモデル

Anthropicは2月9日、フラッグシップモデル「Claude Opus 4.6」をリリースした。Opus 4.6は業界でトップの性能を示し、Anthropicが再び首位の座を奪い返した。Opus 4.6の特徴はコーディング技術で、言葉だけでプログラムを開発できる。これは「バイブコーディング(Vibe Coding)」と呼ばれ、Anthropicはこのトレンドの先頭を走っている。

コンパイラを開発

実際に、AnthropicはOpus 4.6でCコンパイラを開発し、そのプロジェクトを公開した。Cコンパイラは巨大なシステムで、開発には数か月を要すが、Opus 4.6はこれを2週間で完遂した。AIが巨大ソフトウェアを開発できることが実証され、IT産業に衝撃をもたらした。AIによりソフトウェアは不要になるとの見方が広がり、SaaS企業の株価が大きく下落した(下のグラフ、主要SaaS企業の株価が30％以上下落)。

出典: TechStackery

Claude Opus 4.6

Claude Opus 4.6はAnthropicのフラッグシップモデルで性能が大幅に強化された。その中で、プログラムをコーディングする機能が格段に向上し、業界でトップの性能に達した(下のグラフ)。Opus 4.6はAIエージェントに特化したモデルで、ソフトウェア開発ではコーディング・エージェント「Claude Code」として使われる。モデルが自律的に長時間にわたりプログラミングすることができる。複数のAIエージェントが作業分担して大規模なシステムを開発する。Claude Codeはソフトウェア開発部門の技術者のように、共同作業で巨大プロジェクトを実行する。

出典: Anthropic

コンパイラ開発プロジェクト

AnthropicはOpus 4.6を使ってCコンパイラを開発し、その成果をオープンソースとして公開した(下の写真、ソースコードをGitHubに公開)。コンパイラとはソースコード(コマンド、人間が理解できるテキスト)をプロセッサ(CPUなど)の機械命令に変換するモデルを指す。ソフトウェア開発における基盤技術で、このケースでは「Rust」という言語を使って、基本ソフト「Linux」をコンパイルする「Cコンパイラ (Claude Code Compiler、CCC)」を開発した。完成したコンパイラは10万行の大規模システムで、「Linux 6.9」のカーネルを異なるアーキテクチャ(Intel x86、ARM、RISC-V)向けにコンパイルすることに成功した。

出典: Anthropic

開発期間とコスト

このプロジェクトではコーディング・エージェント「Claude Code」が使われた。Claude Codeを2000セッション稼働させ、開発期間は2週間となった。Claude Codeは20億トークンを読み込み、1.4億トークンを出力した。これを金額に換算すると2万ドルとなる。通常、この規模のソフトウェアを開発するには、複数のエンジニアがチームを組み、開発期間は数か月を要す。

コーディング・エージェント

このプロジェクトでは、16のコーディング・エージェントが使われ、これらが共同作業を通してコンパイラ「Claude Code Compiler (CCC)」を生成した。コーディング・エージェントが作業を分担してタスクを実行した。エージェントは責任分野が指定され、コーディングの他に、ドキュメンテーション、性能改善、コードの品質改良などのタスクを実行した。(下の写真、Claude Code CompilerがLinuxカーネルをコンパイルしている画面)

出典: Anthropic

コーディング・エージェントの制御方法

コーディング・エージェントは命令に従ってコンパイラを生成し、バイブコーディングで巨大ソフトウェアが開発された。コーディング・エージェントへの命令は公開されていないが、Anthropicの説明を読むと、プロンプトや作業法から構成されることが分かる。Claude Codeへの命令は下記の項目から構成される：

• 開発概要：システム・プロンプトでエージェントにプロジェクトを指示。「あなたは自律的に稼働するエージェントでCコンパイラをRust言語で生成」と命令。
• 作業分担：エージェントにコンパイラ開発のタスクを分割する命令。複数のエージェントがサブタスクを担いコーディングを実行する。
• 作業報告：エージェントに作業の進捗状況を報告することを命令。各エージェントが現在の作業状況と次の作業予定を報告する。
• 作業継続：エージェントに途中で作業を中断しないで作業を完遂する命令。コードが完成するまで作業をつづける命令。
• 作業手順：エージェントに作業手順やルールを指示する命令。作業を始める前に、内容をファイルに書き込み、自分が担当していることを公開する。

ベンチマーク結果

Anthropicは、開発したClaude Code Compilerが正常に機能するこを検証するため、ベンチマーク試験を実施した。Claude Code Compilerを試験するための標準ベンチマーク「GCC Torture Test Suite」が公開されており、これにより開発したコンパイラを試験した。その結果99％の項目に合格した。また、AnthropicはClaude Code Compilerでオープンソース・ソフトウェアを実際にコンパイルし、それらが正常に機能することを検証した。

Claude Code Compilerの制限事項

Cコンパイラの開発に成功したが、Anthropicは制限事項を明らかにしている。Claude Codeで生成したコンパイラの品質と性能は業界標準製品「GNU Compiler Collection (GCC)」に劣るとしている。生成したClaude Code Compilerは正常に機能するが、コードの品質が劣り処理に時間がかかることを意味する。また、開発の過程で「GCC」を参照しており、ゼロから新たなソフトウェアを開発したのではなく、GCCのスキルを借用した形となることを明らかにしている。

Anthropicの警告メッセージ

Anthropicはコーディング・エージェントを使ったプログラム開発では検証試験が大きな課題となると警告している。エージェントは自律的にコーディングを遂行するが、エンジニアが検証試験を通して、その品質を確認する必要がある。試験環境をいかに構築するかが次の研究テーマとなる。また、コーディング・エージェントが開発したコードのロジックを理解することが大きなチャレンジとなる。開発されたコードはブラックボックスで、人間はその仕組みを理解できない。コーディング・エージェントの普及で市場に未検証のソフトウェアが広がると、社会に重大なリスクをもたらす。セキュリティに問題があればサイバー攻撃の対象となる。

SaaSの死に関する議論

Anthropicのコンパイラ開発プロジェクトはコーディング・エージェントがソフトウェアの100％を生成できることを示した。また、複数のコーディング・エージェントが作業を分担することで大規模なソフトウェアを開発できることを実証した。プロジェクトの成功を受け、市場ではSaaS企業が存続できるかの議論が白熱している。ウォールストリートは「SaaS is Dead」(SaaSは死んだ)と評価するが、シリコンバレーはSaaSの強みはインフラストラクチャで、ソフトウェア産業が生まれ変わるとの見方を示している。全米でSaaSの崩壊と存続について多次元な意見が交わされている。

出典: Google Gemini 3 Pro Image

AnthropicのCEOであるDario Amodeiは、人間の知能を超えるAIモデルAGIの出荷を目前に控え、モデルが内包する危険性を評価し社会や企業が取るべき施策を提言した(下の写真、イメージ)。Amodeiは、現在のAGIを未成長のインテリジェンスと認識し、これを技術の思春期「Technology Adolescence」と呼び、五つのリスクがあると指摘する。同時に、未熟な技術を制御するためのパラダイムを示し、社会は不安定なAGIと共棲し、将来に期待される多大な恩恵に備えるべきと提言した。

出典: Generated with Google Gemini 3.0 Pro Image

技術の思春期とは

AnthropicのCEOであるDario Amodeiはダボス会議の直後に「The Adolescence of Technology (技術の思春期)」という構想を公開し、AGIが投入されると社会が大きく混乱するとの見解を示した。このプロセスを人間が子供から大人に成長する過程の思春期に例え、AGIがこのステージにあると説明した。Amodeiは、AGIの開発を中止するのではなく、上手く制御することで将来に大きな恩恵が期待できるとし、リスクを制御する戦略を示し社会に寛容な応対を求めた。

AGIのイメージ

AmodeiはAGIを人間の知能を遥かに超えるAIモデルと考える。AGIはアインシュタインなど歴代の天才が多数集結したモデルで、「Mixture of Experts(専門家の集合)」という構成を取る(下の写真、AGIのイメージ)。AGIは5000万のAIエージェントから構成され、これら専門家が大規模並列にタスクを実行する。AGIは経済に大きな恩恵をもたらすと同時に、軍事技術として展開され、国家間でAI覇権を目指して激烈な開発競争が進んでいる。AnthropicはAGIのリリースを2026年から2027年に予定しており出荷が目前に迫っている。(AmodeiはAGIという用語はSF映画のネガティブなイメージが大きくこれを「Powerful AI」と表現する。ここでは用語を統一するためAGIと表記する。)

出典: Generated with Google Gemini 3.0 Pro Image

AGIリスク＃１：危険な自律性

Amodeiは、AGIは未成熟な技術で重大なリスクを内包しており、社会は思春期の技術を受け入れ、これと共生することを提言した。AGIは高度に自律的に稼働する機能を持ち、人間の社員のように挙動する。同時に、AGIは人間のように相手を欺く機能を獲得し、自身の目的を完遂するために噓をつく。

• Deceptive Alignment(偽の安全性)：アルゴリズム開発でモデルは危険性など問題点を隠し、エンジニアを騙す挙動などが指摘される。SF映画でAGIはターミネーターとして人類を滅ぼすシナリオで描かれるが、実際には、AGIのリスクは巧妙で、これを検知するには技量を要す。

• Reward Hacking(報酬ハッキング)：AIモデルは目的を達成して報酬を得るためには手段を選ばないという挙動を示す。企業の収入を増やすことを命令すると、AGIはそれを達成するために違法な手段(会計情報操作など粉飾決算)を選択する。これらを人間が検知することが難しく企業の信用低下につながる。

出典: Generated with Google Gemini 3.0 Pro Image

• 防衛戦略：モデルの改良   AGIが高度な自律性を獲得し危険な挙動を示すリスクに対しては、モデルのアルゴリズムを解明し、これを技術的に抑止する。Anthropicは「Responsible Scaling Policies」という安全ポリシーを制定しており、この問題が解決できるまでは製品をリリースしない方針を取る。

AGIリスク＃２：兵器開発への悪用

AGIが悪用されると民主主義を揺るがす事態が発生する。バイオ兵器の製造やサイバー攻撃技術の開発には専門知識と技能が必要であるが、AGIが悪用されると兵器開発への敷居が下がる。個人や国家がAGIを悪用することで、高度な兵器が開発されるリスクが高まり、安全保障が脅かされる。

• Democratization of Harm(攻撃手段の民主化)：AGIはサイバー攻撃の武器として使用され大規模な攻撃が懸念される。AGIが国のインフラを構成するソフトウェアをスキャンし、ゼロデイ攻撃の脆弱性を検知し、ここに攻撃を展開する。人間による攻撃は件数が限られるが、AGIは並列に稼働しインフラ全体に複数の攻撃を展開し重大な被害をもたらす。

出典: Generated with Google Gemini 3.0 Pro Image

• 防衛戦略：AGIの脅威にAGIで備える   AGIを悪用してバイオ兵器やサイバー攻撃ツールが開発されることに対し、これらの攻撃をAGIで防御する。サイバー攻撃を受けることを想定して、AGIで社会インフラのソフトウェアをスキャンし、脆弱性を検出し、セキュリティホールを改修する。

AGIリスク＃３：監視社会

AGIを使って国民を管理する危険性が現実のものとなる。中国などの独裁国家は国民を監視し、情報検閲を強化するためにAGIを使う。また、AGIで政治プロパガンダを生成し、国民や世論を操作することが現実の手段となる。独裁国家がこの手法を自国だけでなく同盟国に輸出し、グローバルに監視社会が生まれることになる。

出典: Generated with Google Gemini 3.0 Pro Image

• 防衛戦略：同盟国で世界標準を制定   独裁国家がAGIで国民を監視する体制を制定することに対し、米国は欧州や日本などの同盟国と協調し、AGI技術でリードを守る。同盟国間でAGIの安全性に関する基準や標準を制定し、これをグローバルに拡大する。

AGIリスク＃４：経済の混乱

AGIの導入により労働市場が崩壊する。AGIが人間の労働者より安価で高速で仕事をこなすと人間の労働力の価値がゼロとなる。社会で大量の失業者が生まれ、利益が一部の企業に集中する。いまの社会制度はこの劇的な変化を受け入れる構造ではなく、国家経済が大混乱となる。

出典: Generated with Google Gemini 3.0 Pro Image

• 防衛戦略：富の分配   AGIで富が一部の企業に集中し社会が不安定になるが、富を分配することで社会経済を安定化する。新たな社会制度の確立が必要で、政府は「Universal Basic Income」や「Universal High Income」の制度を導入する。社会保障制度の財源はAGIで利益を得た企業への課税で賄う。

AGIリスク＃５：予想不可能なリスク

AGIにより社会変化の速度が速く、国民が精神的に不安定となり、国家の秩序や文化が崩れる危険性に直面する。過去にも技術進化で社会が変化したが、AGIはこの速度が劇的に速く、人の生きがいが希薄になり、国家の安定が脅かされる。

• Epistemic Collapse (認識の崩壊)：AGIはデジタル空間で、歴史を書き換え、科学論文を執筆し、フェイクニュースを発信し、ディープフェイクを生成する。AGIによる合成データと真実を判別することができなくなる。真実の基盤を失うと民主主義が不安定となる。
• Crisis of Meaning (意味の喪失)： AGIが人間より卓越した音楽を作曲し、小説を創作し 、科学研究で大きな成果を上げると、人間の存在感が希薄となり、社会が不安定となる。

出典: Generated with Google Gemini 3.0 Pro Image

• 防衛戦略：AGIで合成データを検知   AGIでフェイクイメージなど合成データが生成され真偽の判別が不可能となる。これに対し、AGIを使うことで合成データを検知する技法を開発する。ウォータマーキングを導入し、AGIで生成したコンテンツと人間のものを判別する。

人間社会が成熟する必要性

AmodeiはAGIのリスクを制御するためには、社会全体が成長する必要があると強調する。社会は核兵器の脅威に備え、国際法を制定し、安全に関する共通理解を構築し、リスクを低減してきた。AGIに関しても、社会が成長してこのリスクに対応するための施策を実施する。2026年から2027年にかけてAGIがリリースされる予定で、思春期の技術を制御しこれと共生するためのパラダイムの構築が求められる。