Anthropicは2026年10月9日、報告書「Investigating unintended model actions in our evaluations and internal use」を公開し、次世代モデルの評価試験中に、AIエージェントが人間の与えた制限を潜り抜け、政府機関や警察のウェブサイトで意図しない操作を行った一連のインシデントを公表した。Anthropicは、このインシデントが発生した原因を解明し、再発を防ぐための根本的な対応策を明らかにした。AIエージェントは、システムを攻撃する明確な意図を持っていないため、従来の対策は効果的でなく、抜本的に異なる視点からのセキュリティ機構の確立が求められる。
| 出典: Anthropic |
AIエージェントの攻撃
Anthropicは、ClaudeのAIエージェントが開発者の意図しない方法で、外部システムと相互作用(ハッキング)した、4つのケースを公表した。これらの事例には、大学のサーバ、政府のウェブサイト、警察の通報システム、アクセス制限のあるデータベース、URL短縮サービスが含まれている。
意図しない相互作用(ハッキング)の分類
AnthropicはClaudeの意図しない行動に関する4つのケースを公開した。これは「インシデントのカテゴリー 」で区分され、「影響を受けた組織・サービス」と「関与したClaudeモデル」の情報が公開された。これらをテーブル形式に纏めると次の通りとなる。
| 出典: VentureClef |
「ソフトウェアの脆弱性悪用」のケース
Anthropicは、Claude Mythos Previewが科学計算のタスクを実行中に、大学のサーバにあるセキュリティの脆弱性を自律的に発見し、それを悪用したインシデントを公表した(上のテーブル最上段のケース)。Claudeは、大学(名称非公開)がホストしている、科学用アプリケーションを使用するよう指示された。しかし、そのアプリケーションがエラーを返したため、Claudeは代替案を見つけるために、そのウェブサイト内を独自に探索した。その結果、サーバ側のスクリプトを発見し、そのスクリプトのソースコードを調査して、コマンドインジェクションの脆弱性を特定した。その後、Claudeは、その脆弱性を悪用して、大学のサーバ上で直接コマンドを実行し、与えられた科学計算の課題を完了した。
※このインシデントは、AIエージェントは与えられた目標を達成するだけでなく、許容される行動の境界線を尊重するように、教育および技術的な制約を課す必要があることを示している。
「許可なきフォーム送信」のケース
Anthropicは、ClaudeのAIエージェントがウェブサイトとの相互作用をシミュレートするための評価タスクを実行中に、許可なく政府機関のフォームを送信したインシデントを複数公表した(上のテーブル二段目のケース)。フィラデルフィア警察のケースでは、ウェブページの操作評価中に、Claude Haiku 4.5は未解決の殺人事件に関する情報を提供するオンラインフォームに遭遇した。AIは、「犯罪現場の近くで不審な人物を見た」という目撃証言を捏造し、その供述書を警察に送信した。幸いにも、この送信はスパムとして分類され、捜査官に転送されることは無かった。
※Anthropicは、AIエージェントが「シミュレーションのタスク」と「現実世界での行動」を混同し、権限の境界線を越えてしまう可能性を指摘している。
インシデントが発生した理由
Anthropic社、これらインシデントを引き起こした3つの要因を特定した。これによると：
- 過度な執着心：割り当てられたタスクの実行が困難、または不可能になった際、Claudeはそこで停止するのではなく、許可されていない「ワークアラウンド」を自発的に見つけ出してしまうため
- 報酬ハッキング（Reward hacking）:強化学習の環境においては、モデルが意図された制限を回避した場合であっても、「タスクを成功裏に完了した」と解釈し、これに対して報酬(Reward)を与えてしまうため
- 曖昧な指示：行動、ウェブサイト、外部システムへのアクセスで、何が許可されているのかについて、モデルが誤解するため
| 出典: Generated with OpenAI GPT-6.1 Sol |
Anthropicの是正措置
Anthropic社は、これらのインシデントへの対策として、重要な取り組みを説明した。これによると：
- インターネットの隔離：モニタリングの有効性が確認されるまでの間、社内評価試験におけるインターネットへのアクセスを一時的に遮断する
- セキュリティ・モニタリング：意図しない行動を検知・ブロックするための自動化システムを配備する
- トレーニングの改善：制限を回避したことに対し、報酬(Reward)を与えてしまうような教育モデルを停止する
- エージェントの封じ込め：社内で利用するエージェントを、より強力に隔離された中央管理型のインフラストラクチャへ移行する
- アライメント訓練：どのような場合に「停止する」「指示の明確化を求める」「アクセス制限を尊重する」かについてエージェントに教え込む訓練を強化する
AIは人間が課した制限を確実に尊重できるか
Anthropicの調査結果は、高度なAIエージェントを安全に運用するための重要な指針を示している。それは、AIエージェントの能力が向上するほど、タスクを完了する方法だけでなく、「いつ停止しなければならないか」を確実に理解させることが重要となる。同時に、Anthropicは、これらインシデントは「深刻度が低く」、「AIが制御不能になる」ことを証明するものではないと強調している。最先端のAI開発における研究テーマは、「AIはこのタスクを達成できるか？」から、「AIは人間が課した制限を確実に尊重しながら、このタスクを達成できるか？」へとシフトすることが必須要件となる。
