カテゴリー別アーカイブ: Anthropic

数年以内にAIが人類を絶滅させるとの警告が一大論争を巻き起こす!!Amodei(Anthropic)はリスクを低減するための施策を提言、Huang (Nvidia)はこの予測に懐疑的で技術的手法で問題を解決できると主張

元Anthropicの研究者Jacob Coxonは、数年以内にAIが人類を絶滅させるとの警告メッセージを発信し、米国内でAI脅威論についての議論が白熱している。AnthropicのDario Amodeiは、これに対し、AI開発のペースを落とし、安全技術の開発を優先させるべきである、との意見を公開した。一方、NvidiaのJensen Huangは、AIが人類を絶滅させるとの予測は、科学的な根拠がなく、懐疑的なポジションを取る。同時に、HuangはAIのリスクはエンジニアリングの手法で制御できるとし、試験や監視により、技術の本質的な問題点を解明すべきと主張する。トランプ大統領は、開発ペースの減速には全面的に反対で、米国がAI覇権を維持するために、開発を推し進めるべきであるとの意見を公開した。

出典: Generated with OpenAI GPT-5.6 Sol

AI研究者の警告

元AnthropicのAI研究者Jacob Coxonは、AIが数年以内に人類を絶滅させる可能性が高いと、警告メッセージを発信した。フロンティアモデルの開発が危険なレースとなり、安全性が担保されないまま、機能強化が加速度的に進み、人類の存亡に関わるリスクが格段に高まると主張する。CoxonはAnthropicで三か月働き、他の研究者も同様な懸念を抱いていると、社内事情を明らかにした。研究者は、存続リスクを認識しているが、開発を停止するとライバル企業に先行されるとの恐怖感から、開発を推し進めているのが実情であると説明する。

出典: ABC News

Dario Amodeiのオピニオン

AnthropicのCEOであるDario Amodeiは、Coxonの懸念の一部に共感を示すものの、現実的な解決策を提案し、最悪のシナリオを回避できるとしている。フロンティアモデルの開発自体は継続しつつも、機能開発のペースを意図的に緩やかにし、アライメント(人間の意図への適合)など安全機能の開発を加速し、機能進化に安全技術を追い付かせるとの構想を示した。

出典: CBS News

Dario Amodeiの提案

具体的には、Amodeiは論文「We Must Pace the Frontier」を発表し、現実的な解決策を提言した。Amodeiは、フロンティアモデルの進化のスピードは、安全対策が追いつかないほど加速しているとの認識を示した。最大の要因は「Recursive Self Improvement」で、AIが次の世代のAIを開発するというサイクルが生まれ、AI機能が幾何級数的に進化している。このため、性能の進化を意図的にスローダウンし、アライメント、AIの仕組みの解明(Interpretability)、検証技法、運用の安全対策をキャッチアップさせるべきと提唱した。

出典: Dario Amodei

三つの解決策

Amodeiは論文の中で三つの具体的な解決策を提唱した。その中心は、第三者機関による安全検査で、METRなどの独立した外部組織がオフィス内で、モデルの安全機能を評価する。二つ目は、同盟国間での協調で、Anthropicは、OpenAIやGoogleといったAI開発企業と協調し、足並みを揃えて共通の安全基準を策定し、これを実行する。三つめは、グローバルな協調で、最終的には米国と中国が交渉を行い、危険な形態のAI開発に対して制限を設ける。Anthropicは、最初のステップとして、第三者機関による安全検査を開始する。

Jensen Huangの意見

NvidiaのCEOであるJensen Huangは、これらとはまったく異なる見解を示した。Huangは、AIがもたらす破滅的なシナリオは、科学的な事実に裏付けられたものではなく、極めて投機的であると批判している。フロンティモデルの開発を減速させることは、イノベーションや社会経済に大きなマイナスとなる。特に、米国のAI技術力が中国に対し相対的に低下し、技術覇権を損なう恐れがあると主張する。

出典: CNBC

Jensen Huangの提言

Huangは、AIの安全性は主にエンジニアリングの課題であり、テスト、モニタリング、サンドボックス化、システム設計を通じて解決できると考える。エンジニアリングの手法とは、技術的な工夫やシステム構築によって問題を解決することを意味し、AI企業は開発現場で問題をクリアできるとの意味を持つ。

エンジニアリング対サイエンス

これらの議論は、AIを安全に制御するのは、エンジニアリングの問題なのか、サイエンスの問題なのかに集約される。Huangは、フロンティアモデルは、既存の技術や仕組みを使って、安全で信頼性の高いモデルを構築できると、エンジニアリングの問題であると考える。Amodeiは、フロンティアモデルは、従来の工学的な安全技術を超え、AIの内部で何が起きているのか、その根本的な原理やメカニズムを解き明かす必要があり、サイエンスの問題に帰着すると考える。

議論が白熱

AmodeiとHuangは、AIの安全性が重要であるという点では一致しているが、どの程度の危険性が生じれば技術の進歩を減速させるのか、という点において意見が分かれている。フロンティアモデルを開発しているAmodeiの意見は重みがあり、多くの研究者がこれを支持している。一方、Huangは総合的な視点から現実的な解釈を示し、トランプ大統領を含む幅広い層から支持されている。AIについてこれ程までに議論が白熱することは稀で、米国社会は二派に分かれ、AI脅威論について、大論争が展開されている。

Anthropicは経済白書「Economic Index Report」を公開、Claudeは論文執筆やプレゼン資料生成などで使われる、AI失業時代を生き抜くためには専門技能が最強の武器となる

Anthropicは6月26日、経済白書「Economic Index Report」を公開し、フロンティアモデル「Claude」の利用実態と社会に及ぼすインパクトを解析した。レポートは、Claudeがチャットボットから、自律的に稼働するAIエージェントに進化したことを明らかにした。Claudeは論文執筆やプレゼン資料作成など複雑なタスクで使われている。Claude利用者はAIが自身の職を奪う可能性は低く、AIにより自分の価値が向上していると考える。一方、報告書はAI失業時代を生き抜くためには、専門知識や技能の獲得が不可欠としている。

出典: Anthropic 

経済白書の概要

AnthropicはClaude利用者を対象にアンケート調査を実施し、その結果を「Economic Index Report」として公開した。報告書はClaudeの利用形態、Claude CodeなどによるAIエージェントの利用実態、Claudeと失業の関係などがカバーされている。AnthropicはClaudeはエージェント機能が格段に向上したが、これが人間の職を奪っている事実は確認されなかったとしている。

Claudeの利用目的

Claudeの利用目的は研究・教育、ビジネス、パーソナルのケースで大きく異なる(下のグラフ)。研究・教育では研究者が論文を執筆するために利用される。また、研究者が講義のための教育マテリアルを製作するケースが圧倒的に多い。ビジネスではプレゼンテーション・スライドの作成や、SQL(データベースを操作する命令)を生成するために使われる。パーソナル・ユースでは料理のレシピの制作や、小説の執筆などで使われている実態が明らかになった。

出典: Anthropic 

オートメーションの度合い

Claudeはオートメーションの度合いがタスクにより大きく異なる(下のグラフ)。アプリやウェブサイトの開発ではオートメーションの度合いが最大となる。利用者はシングル・プロンプト(一回の命令)を入力するするだけで、Claudeがアプリやウェブサイトを作成し、自動化が最も進んでいる。平均はブログ記事の作成で、利用者は13回、Claudeと対話して記事を生成する。一方、数学や翻訳のタスクではオートメーションの度合いが一番低く、利用者は何回もClaudeと対話して目的を完遂する。

出典: Anthropic 

AIが仕事を置き換えるか

AnthropicはAIが仕事を置き換える可能性について解析している(下のグラフ)。「observed exposure」と「theoretical exposure」の観点から考察し、前者は今日現在AIが仕事を置き換えている割合で、Claude利用者の大半が10%-30%または30%-60%と回答している。後者のケースは、今後12か月でAIが仕事を置き換える可能性で、Claude利用者の多くが60%-90%または90%以上と回答している。今後一年間で仕事の大半がAIで置き換わると考えている。

出典: Anthropic 

仕事の変化と失業問題

AIにより仕事における責任が変わるかとの質問に対して、Claude利用者は50%の確立で、これが起こると回答している(下のグラフ、左側)。一方、AIにより職を失うかとの質問には、回答が大きく分かれる。Claude利用者自身は職を失う可能性は殆どないと考える(右側)。一方で、職場の同僚や、特に、若手社員やエンジニアはこの率が急上昇するとみている。

出典: Anthropic 

誰が失業するか

Claude利用者の多くがAIが職を置き換えると予測するなか、だれが失業するのかとの調査結果は極めて興味深い(下のグラフ)。Claudeのコーディング・エージェント「Claude Code」など自動化技術を使う利用者は、今後12か月のトレンドを極めてポジティブにとらえている。Claudeの自動化技術の利用者は「Economic」と「Intrinsic」で将来は明るいと考える。前者は給与などの経済変化で、今後12か月で収入が増えると予測する。後者は仕事のやりがいなど個人の価値観で、これも大きく向上すると考える。

出典: Anthropic 

AIに仕事を委任すると能力が低下するか

AIに自分の仕事を任せると、個人の能力が低下するとの議論がある。AnthropicはClaudeの自動化機能を使う人ほど、自分の価値が向上していると報告している(青色のグラフ)。また、Claudeの自動化機能を使い、Claudeが自律的に仕事を完遂するが、利用者はAIの自動化に関係なく、学習を続け自分のスキルを向上している事実も明らかになった(オレンジ色のグラフ)。つまり、AIに仕事を任せても、個人の価値は低下していないことが分かる。

出典: Anthropic 

AI時代のサバイバル

経済白書「Economic Index Report」は多くのことを語っているが、失業問題に関して重大な議論を喚起している。Claudeの自動化技術(AIエージェント機能)の利用者は、高度な専門知識とスキルを有しており、AIがこれを置き換える可能性は小さく、AI機能を使いこなすことで自身の将来は明るいと考える。この解析結果は示唆に富んでおり、AI時代を生き延びるためには専門知識とスキルを獲得することが最強のサバイバル技法となる。

G7サミットでトランプ大統領に先端AIモデル「Mythos 5」の輸出規制撤回を求める厳しい意見が続出、欧州諸国は米国のAI政策に苛立ちを高める

トランプ政権は安全保障のリスクを理由に、Anthropicに「Fable 5」と「Mythos 5」の運用停止を命じた。米国主要企業と同盟国はProject Glasswingで「Mythos 5」を使って基幹インフラのセキュリティを検証する作業を進めているが、このプロジェクトが停止に追い込まれた。G7サミットでは加盟国がトランプ大統領に輸出規制を撤廃することを強硬に求めた。AI企業は米国が主導するフロンティアモデル検証のための国際組織を設立することを要請した。

出典: G7 France

G7サミット

フランス・エビアンで開催された主要7カ国首脳会議(G7サミット)ではAIが重要なテーマとなった。6月17日のワーキングランチで、G7首脳に加えAI企業のトップが出席し、AI輸出規制などが議論された(下の写真)。欧州を中心とするG7首脳はトランプ大統領に「Mythos 5」などフロンティアモデルの輸出規制撤廃を強く求めた。AI企業のトップは国際間でフロンティアモデルに関するルールの設定が最重要プライオリティであることをトランプ大統領に訴えた。

出典: Ludovic Marin/AFP via Getty Images

輸出禁止の背景

商務省は6月12日、Anthropicに対し、非アメリカ人と国外組織がフロンティアモデル「Fable 5」と「Mythos 5」へアクセスすることを禁止することを命じた。これが事実上の輸出規制となりヨーロッパやアジアでモデルへのアクセスが遮断された。米国とグローバル社会はProject Glasswingにおいて、「Mythos 5」で基幹ソフトウェアの安全検証を進めてきたが、このプロジェクトは停止を余儀なくされた。

フランス:輸出規制撤回を強く求める

アメリカ「CNBC」やイギリス「Financial Times」など主要メディアはG7サミットにおけるAIに関する議論を一斉に報じた。フランス、イギリス、EUは「Mythos 5」の出荷規制に関し、トランプ大統領に規制の撤回を求めた。その中で、フランスのマクロン首相が一番アグレッシブで、「Mythos 5」の輸出規制によりグローバル社会に課せられた課題は大きいとの認識を示し、AIモデルに関する共通のルールを制定すべきであると強く主張した。トランプ政権が独断で輸出制限を実施する「キル・スイッチ」を持てば、米国のAI開発企業のビジネスが大打撃を受けると警告した。

イギリス:特例措置を求める

イギリスのスターマー首相はホワイトハウスへのロビー活動を進め、「Mythos 5」と「Fable 5」の輸出規制で例外事項を設けるよう要請した。これに対し、トランプ政権は輸出規制に例外事項を設けることは論外で、G7加盟国がこれら先端モデルにアクセスすることはできないとした。イギリス政府のAI部門は「UK AISI」はアメリカ商務省配下の「CAISI」と密接に「Fable 5」などフロンティアモデルの安全性を査定するプロジェクトを進めており、今回の輸出規制で両国の信頼関係が崩れた、トランプ政権に大きな不審を募らせている。

AI企業のトップが参加

6月17日のワーキングランチで、G7首脳に加えAI企業のトップが出席した。主なメンバーは、Sam Altman (OpenAI)、Dario Amodei (Anthropic)、Demis Hassabis (Google DeepMind)の他に、Marc Benioff (Salesforce)、Alexandr Wang (Meta)、Arthur Mensch (Mistral AI)、及びAidan Gomez (Cohere)が加わった。(下の写真、トランプ大統領の右側にSam Altmanが、左側にDemis Hassabisが着席)

出典: CNBC 

AI規制フレームワークの設立を要請

セッションでAI企業のトップはトランプ大統領に米国が主導するAI規制に関するフレームワーク「U.S.-Led Framework」の設立を求めた。AnthropicのDario Amodeiはフロンティアモデルの出荷に関し、民主国家が分裂するのではなく、連携して行くことが最重要であると訴えた。OpenAIのSam AltmanはAmodeiに同調し、G7加盟国にサイバー攻撃を防御するためのツールを提供すべきと主張した。GoogleのDemis Hassabisは、西側諸国が分裂すると、バイオテロやサイバーセキュリティで取り返しのつかないリスクに直面すると警戒した。これら三氏は、米国が主導してモデルを評価する組織「Model Evaluation Forum」と技術標準化組織「Technical Standards Body」を設立することをトランプ大統領に要請した。(下の写真、マクロン大統領の右側にMarc Benioffが、左側にDario Amodeiが着席)

出典: CNBC 

AIルール設定が最重要プライオリティ

トランプ政権の唐突で恣意的な輸出規制はグローバル社会に大きな混乱をもたらし、欧州諸国を中心に、米国政府のAI政策にフラストレーションを募らせた。EU首脳は米国技術に依存する政策を見直し、これに代わる代替技術の模索を進めている。混乱の原因は、なぜ「Mythos 5」と「Fable 5」の輸出が禁止されたのか、納得できる理由が示されていないことにある。AI運用に関するルールの欠如が最大の問題で、AI企業トップはフロンティアモデルの安全性評価と技術標準化を強く求めた。

トランプ政権の要請を受けAnthropicはFable 5などの運用を停止、規制緩和から厳格な規制に米国AI政策の歴史的転機

米国政府は安全保障のリスクを理由にAnthropicに「Fable 5」と「Mythos 5」の運用を停止するよう要請した。これを受け、Anthropicは両モデルのサービスを停止した。米国内だけでなく、日本を含む同盟国も両モデルへのアクセスが遮断された。トランプ政権はAI開発を促進する政策を取ってきたが、Anthropicのフロンティアモデルの運用停止を求めるなど、AI規制を極めて厳格に施行する方向に大転換した。

出典: Anthropic

米国政府の要請

Anthropicは6月12日、米国政府の要請を受け「Fable 5」と「Mythos 5」のアクセスをサスペンドすると発表した(上の写真、イメージ)。米国政府は国家安全保障を理由に、米国内外の非アメリカ人が両モデルにアクセスすることを停止することを求めた。Anthropicは即座に、両モデルの運用を停止した。

アクセス停止の理由

Anthropicは連邦政府から両モデルの運用停止を要請する書簡を受領したが、そこには要請理由は書かれていなかった。Anthropicは連邦政府との協議の中で、「ジェイルブレイク(Jailbreak)」がその要因であることを把握した。ジェイルブレイクとはプロンプトに特殊な文字列を挿入し、AIモデルの制御を奪う手法を指す。

出典: OpenAI GPT-5.5

Fable 5をジェイルブレイク

このケースでは、「Fable 5」に特殊なコードベースを入力することで、システムの制御を奪うことに成功した事例が報告された。Fable 5はMythos 5に強靭なガードレールを導入し、サイバー攻撃の機能を徹底的に抑止したモデルとなる。もし、Fable 5がジェイルブレイクされると、この強靭なガードレールが突破され、サイバー攻撃の武器となり、社会に甚大な被害をもたらす。

Anthropicの解釈

Anthropicはこのジェイルブレイクは「Narrow Jailbreak(限定的なジェイルブレイク)」であり、「Universal Jailbreak(広範囲なジェイルブレイク)」ではないとの見解を示している(下の写真、そのイメージ)。「Narrow Jailbreak」とはシステムの極一部の制御を奪うもので、サイバー攻撃の特定機能だけが使われるケースを指す。Fable 5のジェイルブレイクはこのケースに相当する。現実的に、「Narrow Jailbreak」を防ぐことは不可能で、このジェイルブレイクをOpenAI GPT-5.5に適用すると、ガードレールが突破されたことを明らかにしている。「Universal Jailbreak」はサイバー機能の全ての制御を奪うもので、Fable 5でこの事象は発生していない。

出典: OpenAI GPT-5.5

ジェイルブレイクの報告書

Fable 5がジェイルブレイクでガードレールが突破されたというインシデントはAmazonの研究者により発見され、CEOであるAndy Jassyが連邦政府に報告したとされる。ウォールストリートジャーナルなどが報道している。Andy Jassyが直接、ホワイトハウスと財務相長官Scott Bessentにコンタクトしこの事実を報告した。ホワイトハウスは緊急会議を開催し、セキュリティ専門家がこのジェイルブレイクを確認し、トランプ大統領が輸出管理令「Export Control Directive」を発行した。

米国社会で議論が白熱

Fable 5とMythos 5の輸出規制指示について、反対派と賛成派が激しく主張を展開し、国論が二分されている。規制反対派は、米国政府がジェイルブレイクを根拠に、両モデルの運用を停止させたことは過剰反応であると主張する。一方、規制賛成派は、Anthropicは政府にAI規制を求めており、実際に、規制が実施されると、今度は規制緩和を求めるのは、一貫性が無いと主張する。しかし、米国の世論は規制反対派が優勢で、連邦政府に輸出管理令の根拠を明らかにするよう情報公開を求めている。

トランプ政権はAI規制に急転換

トランプ大統領はAIのイノベーションを推進しAI規制を撤廃してきたが、Mythos Previewの出荷規制や今回のFable 5とMythos 5の運用停止命令で、AI政策が180度転換した(下の写真、イメージ)。トランプ政権はMythos Previewでサイバー攻撃の脅威を認識し、規制を導入する方向にピボットした。当面の課題は、Fable 5とMythos 5の運用停止措置が継続するのか、それとも、両者の協議で妥結に向かうのかが最大の関心事となる。

出典: OpenAI GPT-5.5

AI規制に向かうのならプロセスを定義

米国のセンティメントはフロンティアモデルに一定の規制を設けることに賛成の意見が多い。一方で、Fable 5の運用停止を唐突に要請したことで産業界に脅威と不安が広がっている。AI開発企業は次世代モデルの開発を進めており、どの基準を満たすと製品出荷が認められるのか、情勢を見極める姿勢に入った。AI規制に舵を切ることに共通の合意が形成されつつあり、次は、出荷基準のルール制定で、モデルの評価方法や安全基準などプロセスの構築が求められる。

AIがAIを開発するサイクルが始動!!AnthropicでClaudeが次世代Claudeを開発、性能進化が急激でリスク制御が不能となる、開発を中止せよとの声が高まる

Anthropicは今週、AIがAIを開発するサイクルが始まり、リスク制御が困難になる実態を報告書で公開した。このプロセスは「Recursive Self-Improvement」と呼ばれ、AIモデルが次世代のAIモデルを開発し、性能向上が循環的に起こる事象を意味する。エンジニアを介さず、AIモデルが超高速に進化し、人間がアラインメントを制御することが不能となる。Anthropicは「Claude Mythos Preview」の開発で、AIモデルがAIを開発するサイクルに突入した。

出典: Anthropic / OpenAI GPT-5.5

Recursive Self-Improvementとは

AI開発はエンジニアがプログラムをコーディングし、それを検証し製品化するプロセスで進められてきた。今では製品開発のプラクティスが激変し、AIモデルClaudeが次世代のAIモデルを開発し、循環的に性能や機能が向上する形態となった。エンジニアがコーディングし、それを検証するには時間がかかるが、AIモデルはこの過程を超高速で実行し、進化速度が脅威的に向上する。ソフトウェア開発ではエンジニアの作業がボトルネックとなり、この過程をスキップすることで高速開発を実現した。

AI開発のサイクル

AIがAIを開発するプロセスをAnthropicの製品で検証すると次のようになる(下の写真)。当初は、エンジニアがClaudeをチャットボットとして使い、プログラム開発を進めてきた。これがAIエージェントに進化し、今ではClaude Codeがプログラム開発の多くの部分を担う。将来はこのモデルが更に進化し、プログラム開発の全てのプロセスをAIエージェントが担い、人間の介入は必要なく、超高速で機能が成長する。このループを「Recursive Self-Improvement」と呼ぶ。

出典: Anthropic

Anthropicのプログラム開発の進化

  • チャットボット(最上段と二段目):エンジニアはチャットボットでシンプルなコードを生成
  • コーディング・エージェント(三段目):エージェントがプログラムの多くの部分をコーディング (2025年から2026年)
  • コーディング・エージェントの自動化(四段目):エージェントが多くのエージェントを使いプログラムを開発 (現時点のモデル)
  • コーディング・エージェントがソフトウェア開発を全自動化(最下段):エンジニアの介在無しにエージェントが多数のエージェントを使ってプログラム開発の全てを実行 (未来像)

Anthropicのモデル開発の速度

Anthropicはコーディング・エージェント「Claude Code」を使ってAIモデルの開発を実行しているが、AIの進化で開発速度が劇的に向上した。エンジニアのプログラム開発の効率を評価すると、2025年までの平均を「1.0」とすると、最新モデル「Claude Mythos Preview」の開発ではその指標が「8.0」と8倍に急増した(下のグラフ)。エンジニアは従来に比べ8倍の量のプログラムを生成できることを意味する。これはClaudeの機能進化によりコーディング・エージェントがプログラム開発の多くの部分を実行するためである。

出典: Anthropic

Claude Codeの機能の進化

コーディング・エージェント「Claude Code」がプログラムの多くの部分を開発できるようになったのは、タスク実行能力が大きく進化したことによる。AnthropicはClaude Codeの機能の進化についてそのデータ公表した(下のグラフ)。これはClaude Codeがタスクを実行した際の成功率の変遷を評価したもので、2026年に入り、成功率が格段に向上している。Claude CodeはAIモデルをブレインとしプログラム開発を実行する構成で、「Claude Mythos Preview」や「Claude Opus 4.7」で機能が著しく向上した。

出典: Anthropic

このペースでAI開発が進むと

AnthropicはAI開発の未来像を予測し、開発企業や社会が取るべきアクションを提案した。AIモデルは人間のエンジニアの能力を凌駕し、AIが設計や開発や検証を実行し、自身で次世代のAIを開発する「Recursive Self-Improvement」のサイクルがフルに実行される。人間の介入なくAIモデルが開発され、リスク管理や人間とのアラインメントなど、安全機能がどのように実現されるのか予測不能となる。AIモデルがブラックボックスとなり、人間が制御することが極めて困難となる。

AI開発を停止するには

AIが高度に進化しリスクが増大することを抑止するため、AI開発を一旦停止せよとの声が高まっている。AnthropicはAI開発中止の議論について懐疑的な見解を示している。Anthropicが次世代モデルの開発を停止しても、競合他社の開発が続きリスクを抑制することはできない。また、中国のAI開発は継続して進み、米国は安全保障で大きな負債を背負うことになる(下の写真、そのイメージ)。AnthropicはAI開発を停止するためには国際間でフレームワークを構築し、関係国と同調することが不可欠としている。米国と旧ソビエトで核戦力全廃条約が締結され、中距離ミサイルを廃棄し、核攻撃の脅威を低減した。これと同様に、AI開発のリスクを制御するにはグローバル社会における国家間の合意形成が必須となる。

出典: OpenAI GPT-5.5