元Anthropicの研究者Jacob Coxonは、数年以内にAIが人類を絶滅させるとの警告メッセージを発信し、米国内でAI脅威論についての議論が白熱している。AnthropicのDario Amodeiは、これに対し、AI開発のペースを落とし、安全技術の開発を優先させるべきである、との意見を公開した。一方、NvidiaのJensen Huangは、AIが人類を絶滅させるとの予測は、科学的な根拠がなく、懐疑的なポジションを取る。同時に、HuangはAIのリスクはエンジニアリングの手法で制御できるとし、試験や監視により、技術の本質的な問題点を解明すべきと主張する。トランプ大統領は、開発ペースの減速には全面的に反対で、米国がAI覇権を維持するために、開発を推し進めるべきであるとの意見を公開した。

出典: Generated with OpenAI GPT-5.6 Sol

AI研究者の警告

元AnthropicのAI研究者Jacob Coxonは、AIが数年以内に人類を絶滅させる可能性が高いと、警告メッセージを発信した。フロンティアモデルの開発が危険なレースとなり、安全性が担保されないまま、機能強化が加速度的に進み、人類の存亡に関わるリスクが格段に高まると主張する。CoxonはAnthropicで三か月働き、他の研究者も同様な懸念を抱いていると、社内事情を明らかにした。研究者は、存続リスクを認識しているが、開発を停止するとライバル企業に先行されるとの恐怖感から、開発を推し進めているのが実情であると説明する。

出典: ABC News

Dario Amodeiのオピニオン

AnthropicのCEOであるDario Amodeiは、Coxonの懸念の一部に共感を示すものの、現実的な解決策を提案し、最悪のシナリオを回避できるとしている。フロンティアモデルの開発自体は継続しつつも、機能開発のペースを意図的に緩やかにし、アライメント(人間の意図への適合)など安全機能の開発を加速し、機能進化に安全技術を追い付かせるとの構想を示した。

出典: CBS News

Dario Amodeiの提案

具体的には、Amodeiは論文「We Must Pace the Frontier」を発表し、現実的な解決策を提言した。Amodeiは、フロンティアモデルの進化のスピードは、安全対策が追いつかないほど加速しているとの認識を示した。最大の要因は「Recursive Self Improvement」で、AIが次の世代のAIを開発するというサイクルが生まれ、AI機能が幾何級数的に進化している。このため、性能の進化を意図的にスローダウンし、アライメント、AIの仕組みの解明(Interpretability)、検証技法、運用の安全対策をキャッチアップさせるべきと提唱した。

出典: Dario Amodei

三つの解決策

Amodeiは論文の中で三つの具体的な解決策を提唱した。その中心は、第三者機関による安全検査で、METRなどの独立した外部組織がオフィス内で、モデルの安全機能を評価する。二つ目は、同盟国間での協調で、Anthropicは、OpenAIやGoogleといったAI開発企業と協調し、足並みを揃えて共通の安全基準を策定し、これを実行する。三つめは、グローバルな協調で、最終的には米国と中国が交渉を行い、危険な形態のAI開発に対して制限を設ける。Anthropicは、最初のステップとして、第三者機関による安全検査を開始する。

Jensen Huangの意見

NvidiaのCEOであるJensen Huangは、これらとはまったく異なる見解を示した。Huangは、AIがもたらす破滅的なシナリオは、科学的な事実に裏付けられたものではなく、極めて投機的であると批判している。フロンティモデルの開発を減速させることは、イノベーションや社会経済に大きなマイナスとなる。特に、米国のAI技術力が中国に対し相対的に低下し、技術覇権を損なう恐れがあると主張する。

出典: CNBC

Jensen Huangの提言

Huangは、AIの安全性は主にエンジニアリングの課題であり、テスト、モニタリング、サンドボックス化、システム設計を通じて解決できると考える。エンジニアリングの手法とは、技術的な工夫やシステム構築によって問題を解決することを意味し、AI企業は開発現場で問題をクリアできるとの意味を持つ。

エンジニアリング対サイエンス

これらの議論は、AIを安全に制御するのは、エンジニアリングの問題なのか、サイエンスの問題なのかに集約される。Huangは、フロンティアモデルは、既存の技術や仕組みを使って、安全で信頼性の高いモデルを構築できると、エンジニアリングの問題であると考える。Amodeiは、フロンティアモデルは、従来の工学的な安全技術を超え、AIの内部で何が起きているのか、その根本的な原理やメカニズムを解き明かす必要があり、サイエンスの問題に帰着すると考える。

議論が白熱

AmodeiとHuangは、AIの安全性が重要であるという点では一致しているが、どの程度の危険性が生じれば技術の進歩を減速させるのか、という点において意見が分かれている。フロンティアモデルを開発しているAmodeiの意見は重みがあり、多くの研究者がこれを支持している。一方、Huangは総合的な視点から現実的な解釈を示し、トランプ大統領を含む幅広い層から支持されている。AIについてこれ程までに議論が白熱することは稀で、米国社会は二派に分かれ、AI脅威論について、大論争が展開されている。