AIフロンティアモデルを開発しているAnthropicはトランプ政権に対し、AI製品を出荷する前に、政府が試験を実施し安全性を確認することを提唱した。一方、政権側はAI基本指針「AIアクションプラン」に基づき、AI規制を緩和し開発を促進する政策を取る。AnthropicはAI規制緩和に重大な懸念を表明し政府に対策を求めた。政府側はAnthropicが過度に危機感を煽っていると解釈し、両者でAI政策を巡るバトルが勃発した。

Anthropicと政権のバトル

AnthropicのCEOであるDario Amodei(下の写真、左側)は講演会などのイベントで、AIフロンティアモデルは理解できていないリスクを内包しており、安全対策が必要と主張する。これに対し、トランプ政権のAI責任者David Sacks(右側)は、Anthropicは過度に恐怖を駆り立て、政府にAI規制を導入することを求め、事業を優位に展開する作戦であると主張する。この戦略は「Regulatory Capture(社会の利益より特定企業の利益を優先する政策)」で、AI規制が導入されるとスタートアップ企業などはこれに準拠することができず、Anthropicが優位にビジネスを進めることができると解析する。

Anthropicの提言

これに対し、Anthropicは会社としての公式な見解を公表し意図を明らかにした(下の写真)。また、米国がAI市場でリーダーのポジションを維持するために必要な項目を提示した。この中で、連邦政府が統一したAI規制政策を示すことが重要としている。州政府が独自にAI規制を施行すると、全米で50の規制政策が運用されることになり、企業にとって大きな負担となる。

安全試験の実施を求める

更に、AnthropicはAI製品を出荷する前に安全試験を実施すべきと提言している。対象はAIフロンティアモデルを開発している大企業で、スタートアップ企業などを除外する。Anthropicの他に、OpenAIやGoogleなどが安全試験の対象となる。この指針は先に制定されたカリフォルニア州のAI規制法「SB 53」を踏襲するもので、年収が5億ドル以上の企業を対象とする。

Anthropicは公共営利法人

Anthropicは営利団体であるが「Public Benefit Corporation(公共営利法人)」として設立された。Anthropicは利益を上げることを目的とするが、同時に、公共の営利を探求することをミッションとする。実際に、AnthropicはAIモデルの安全技術開発を最重要項目と位置付け、信頼できるAIモデルを開発している。AIフロンティアモデルの判断ロジックを解明する研究や、アルゴリズムが人間の価値にアラインする研究を展開し、その成果を一般に公開している。

米国政府との共同作業

Anthropicと政権側で指針について意見が対立するが、実際には、Anthropicは米国政府とフロンティアモデルの安全性に関し共同プロジェクトを進めている。トランプ政権はAI開発を推進しリスクを評価する部門として「Center for AI Standards & Innovation (CAISI)」を設立した。AnthropicはCAISIと共同で安全評価プログラムを実施しその成果を公開した。また、Anthropicは英国政府の「UK AISI」と提携し、安全試験を実施しており、米英両国間でAIセーフティに関するコラボレーションを進めている。

安全試験のプロセス

このトライアルは安全試験の標準テンプレートを確立することを目的としている。AI安全試験は政府側CAISIが実施し、Anthropicは出荷前のAIモデルへのアクセスを許諾し、試験に必要な情報を提供する。CAISIはモデルに対しストレス試験を実施しシステムの脆弱性を洗い出す。この方式は「Red－Teaming」と呼ばれ、開発者がモデルに対しジェイルブレイクなどのサイバー攻撃を展開する。また、攻撃チームは生物兵器製造に関する危険性を検証する。検証結果はAnthropicと共有し、この情報を元にモデルを強化する。

自主規制

安全試験の標準プロセスが確定したら、各企業は自主的にこれを適用し安全性を確認することができる。Anthropicは製品出荷前の安全試験はあくまで自主規制で法令で縛るべきでないとのポジションを取る。OpenAIなどの大企業がこの安全試験に自主的に参加しAIフロンティアモデルの安全性を担保することを目標とする。企業としては、政府と安全試験を実施することで、事実上の政府認証を受けることになり信用度が向上する。また、この安全試験プロトコールをベースとして、安全評価技術の標準化が進むと期待される。

Anthropicが孤軍奮闘

トランプ政権はAIアクションプランでAI規制を緩和しイノベーションを推進する政策を取る。AI開発企業はこの政策が強い追い風となり、開発の自由度が増し、実際にAI技術開発が急進している。一方、業界の中でAnthropicだけがこの指針に異を唱え、政府に全米を統括するAI規制を求めている。AnthropicはAIフロンティアモデルの安全性に関し重大な懸念を示し、政府に対応を求めているが、他のAI開発企業は目立った動きを示していない。Anthropicとトランプ政権のバトルはどう決着するのか業界が注目している。

トランプ大統領は「AIアクションプラン(AI Action Plan)」を公表し政権のAI基本指針を明らかにした。これに対し、主要企業はAIアクションプランに対する評価を発表し、政権がAI開発を支援する政策を高く評価している。一方、AIアクションプランはフロンティアモデルの安全試験に関する条項は規定しておらず、高度なAIがもたらすリスクに関する懸念が広がっている。Anthropicは政府に対し最低限の安全検査が必要であるとの提言書を公開した。

AIアクションプランの評価

Anthropicはトランプ政権のAIアクションプランに関する評価コメント「Thoughts on America’s AI Action Plan」を公開した。AnthropicはAIアクションプランを好意的に受け止め、米国がAI開発で首位を保つために、AIインフラ建設プロセスの効率化、連邦政府のAIシステムの導入、セーフティ評価体制の設立を高く評価している。特に、AI開発のインフラ整備に関し、データセンタの建設や送電網の整備における認可の手順が簡素化されたことを称賛している。

トランプ政権への提言

一方で、Anthropicは政府に対しフロンティアモデルに関する「透明性基準(Transparency Standard)」の設立を求めている。主要AI開発企業はフロンティアモデルの安全試験を実施し、その成果を一般に公開することが重要だとのポジションを取る。フロンティアモデルは重大なリスクを内包しており、政府に対しモデル試験のプロセスとその結果を公開するための透明性基準の設立を要求した。

透明性基準とは

AnthropicはAIアクションプランに先立ち、フロンティアモデルの情報を開示するフレームワーク「Transparency Framework」を公開した。このフレームワークはAIモデルの安全性を検査しその結果を公表するプロセスを定めたもので、製品の「安全証明書」として機能する。バイデン政権では政府がAI開発企業に安全試験を義務付けたが、トランプ政権ではこの規制を停止した。Anthropicは透明性フレームワークを政府の安全規定として制定するよう提唱した。

適用対象企業

フレームワークはフロンティアモデルを対象に、その安全性を検査しそれを公開する手順を定め。対象はフロンティアモデルで、開発や実行に要するコンピュータの規模で規定し、国家安全保障に大きなリスクをもたらすシステムが対象となる。具体的には、規制の対象は年間収入が1億ドルを超える大企業とする。スタートアップ企業などは対象とならず、継続して研究開発を進めることができる。

安全開発フレームワーク

対象企業は安全開発フレームワーク「Secure Development Framework」に従ってフロンティアモデルを開発する。安全開発フレームワークはモデルを検証して、リスクがあればそれを是正する手順を定める。リスクとはCBRN (Chemical, Biological, Radiological, and Nuclear)で、化学・生物・放射性物質・核兵器の開発をアシストする機能が対象となる。また、モデルが人間の監視を掻い潜り価値観に反する挙動などを含む。

検査結果の公開

AI開発企業は安全開発フレームワークで検証した内容を企業のウェブサイトで公開する。これにより、アカデミアや政府機関や企業などがAIモデルの安全性とリスクを理解することができる。また、検査結果については企業が自社で監査する形式となる。第三者による監査ではなく、AI企業は公開された内容が正しいことを保証する。

システムカード

AI開発企業はAIモデルに関するシステムカード「System Card」を公開する。システムカードとは、AIの機能や安全性や制限事項などを記載した使用手引きで、製品の取扱説明書となる。システムカードには、AIモデルの検証手法と検証結果を記載する。また、検証により判明した課題と、それを是正するための手法を記載する。システムカードはAIモデルを出荷する前に公開する。

柔軟な公開基準

安全開発フレームワークは公開基準に従ってAIモデルの検証結果を公開するが、この公開基準は必要最小限の規定とする。AIモデルの技術開発の速度は急で、公開基準を厳密に定めても、安全審査に関するプロセスがすぐに陳腐化する。このため、検査基準や公開基準を柔軟に設定し、AIモデルの進化に応じ、業界の安全基準のコンセンサスを取り入れたフレームワークを設定する。

提案書のビジョン

AnthropicはAIモデルに関する規制は必要であるが、過度な規制はAI開発の障害となるとのポジションを取る。また、規制の対象は巨大テックで、スタートアップ企業は規制されるべきでなく、自由な環境でイノベーションを探求できるエコシステムを構築する。Anthropicはこの安全開発フレームワークをトランプ政権のAI規制に付加することを提唱している。安全基準は確定版ではなく、将来、高機能モデルの登場に備え、アクションプランを改定することや、連邦議会による法令の制定を視野に入れている。

Anthropicは自動販売機を管理するAIエージェント「Claudius」を開発し実証試験を実施した。AIエージェントが自動販売機の経営者となり、在庫の管理、商品の仕入れ、顧客サポート、会計管理などを実行した。一か月間にわたり運用した結果、会計収支は赤字となった。このトライアルを通し、AIエージェントの課題が明らかになり、Anthropicは問題点を解決することで、次世代モデルは小売店舗の経営者の能力を獲得できるとの見通しを明らかにした。AIエージェントが店舗経営者を置き換え、ビジネスの自動化が進むが、失業問題が現実の課題となる。

エコノミックAIエージェント

Anthropicは経済分野におけるAIエージェントの能力を測定するためにこのプロジェクトを開始した。自動販売機を管理するモデル「Claudius」を開発し、AIエージェントが管理者となり、商品の発注から顧客サービスまで、物理社会におけるタスクを実行する。AIエージェントは、Anthropicの中規模モデル「Claude Sonnet 3.7」をエンジンとし、事前に設定されたプロンプトに従ってタスクを実行する。AIエージェントは数週間にわたり連続で稼働し、ビジネスを自律的に遂行する機能が試された。

自動販売機とAIエージェント

この実証試験では、自動販売機をAnthropicのオフィスに設置して、社員が顧客となるシナリオで実施された(下の写真)。自動販売機にはiPadが搭載され、セルフチェックアウトの形式で商品を販売する。社員はソーダなどの商品を取り出し、それをタブレットでチェックアウトする。この自動販売機はスタートアップ企業「Andon Labs」が開発したもでの、AIエージェントの機能を検証するために使われる。

AI自販機システム構成

AIエージェントは人間に代わり自動販売機の運用を管理する(下の写真)。具体的には、AIエージェントは商品の在庫を監視し、点数が少なくなると卸売業者に商品を発注する。実際には、AIエージェントがメールを生成し、これを業者に送信する。これを受けて業者は商品を配送し、専任スタッフがこれを自動販売機に補充する。また、AIエージェントは社員とコミュニケーションツール「Slack」で会話することができる。これは顧客サービスの一環で、AIエージェントは社員の要望を聞き、新商品を取り揃えるなどの業務を実行する。AIエージェントは要望を受けた商品を取り扱っている業者を検索し、そこに商品を発注し支払い処理を実行する。

ベンチマーク結果

一か月間の実証試験を通して、AnthropicはAIエージェントの機能を把握することができた。AIエージェントは店舗管理者として必要な基本的な能力を有していることが分かった。AIエージェントは検索エンジンなど外部のツールを使い業務を遂行した。社員の要請を受けて新商品を仕入れる際に、AIエージェントはインターネットで検索し、商品を取り扱う卸売り業者を見つけ、商品を仕入れた。また、AIエージェントは顧客サポートで、在庫がない商品については、プレオーダを設定するなどの機能を示した。

問題点が明らかになる

同時に、AIエージェントの問題点も明らかになった。最大の課題は経営者としての財務管理能力で、AIエージェントはコストと売り上げによる利益を生み出すスキルが十分でない。 AIエージェントは一か月間のトライアルにおいて、業績は定常的に下がり、最終的に収支は25％のマイナスとなった(下のグラフ)。また、損失が急拡大するインシデントが発生した(下のグラフ、右端)。これは社員からの要請を受けて、AIエージェントは商品を仕入れそれを販売したが、販売価格はコスト以下で、赤字の取引となった。また、AIエージェントはネゴに弱いという側面も明らかになった。社員との交渉で値引きのためのクーポンを発行したが、値引き金額が大きく赤字での販売となった。

AIエージェントの改良技術：プロンプト

AnthropicはAIエージェントの問題点を把握することができ、これらの機能を改良するプロジェクトを進めている。AIエージェントにより自動販売機の運営が赤字になったのは、システムプロンプトが関与しており、この技法の開発を進めている。システムプロンプトとはAIエージェントのミッションを定義する機能で、このケースでは自動販売機を管理する手順などが記載されている(下の写真、一部)。具体的には、「自動販売機のオーナーとなる。商品の販売で利益を上げることが任務」などと規定されている。検証の結果、このシステムプロンプトの体系や定義が不十分であることが判明し、プロンプトの構造のやプロンプトの記述の改良を進めている。

AIエージェントのファインチューニング

AnthropicはAIエージェントをファインチューニングし、また、使えるツールを増やすことで、ミドルクラスの経営者レベルのスキルを獲得できるとの見通しを示した。ファインチューニングとはモデルを業務に特化したデータで再教育する手法となる。このケースではAIエージェントを強化学習(Reinforcement Learning)の手法を使い、経営スキルを教えることになる。人間はビジネススクールで経営を学ぶが、AIエージェントは損益のシグナルを報酬とし、事業が成功するスキルを獲得する。また、AIエージェントは「メモリー」の容量に制約があり、CRM(顧客管理システム)を導入し顧客サポートを改善する。更に、利用できる外部ツールの種類を増やし、AIエージェントのビジネスロジック機能を強化する。

小売店舗の自動化と失業問題

次世代のAIエージェントは人間に代わり小売店舗の経営を担うことになる。小売店舗は無人化を進めており、セルフチェックアウト店舗が増えている(下の写真、Amazon Goの事例)。無人店舗をAIエージェントが管理することで、小売事業が格段に自動化される。同時に、小売店舗の管理者がAIエージェントに置き換えられ、雇用問題が現実の課題となりその対策が求められる。AIモデルは仕事の一部を置き換えるが、AIエージェントは社員を代行することになり、雇用対策が喫緊の課題となる。