SF映画はAIが人類を滅亡させる筋書きを描くが、生成AIの進化でこれが現実のリスクとなった。破滅の確率は「ピー・ドゥーム(P Doom)」と呼ばれ、破滅に至るメカニズムの研究が進んでいる。実際に、生成AI「GPT-4」で人類を危険にさらす挙動が観測され、開発者の間で危機感が広がっている。人類破滅は現実に起こりえるリスクで、研究者はこれに備え、今から安全対策を施すべきと警告する。

人類滅亡のリスクとは

AIが人類を滅亡させるリスクは「P(doom|AGI)」と記載される。これは、人間レベルのインテリジェンスを持つ「汎用AI」(Artificial General Intelligence(AGI))が生まれ、人類を滅亡させる確率を示す。汎用AIの開発が成功した時に、人類がAIにより滅ぼされる確率となる。いま、GPT-4など生成AIの機能が急速に進化し、この技術が汎用AIに繋がるとの解釈が主流になり、破滅の確度が大きくなった。このP(doom|AGI)が「ピー・ドゥーム」と呼ばれる。

エール大学の調査

米国メディアによると、エール大学は企業のCEOが参加するシンポジウム「Yale CEO Summit」を開催し、出席者にAIが人類を滅亡させる可能性について尋ねた。その結果、42％のCEOがイエスと回答し、会社経営者はこのリスクを現実のものとして捉えている実態が明らかになった。ChatGPTなどの危険性が社会問題となり、企業のトップはAIの脅威を実感している。

汎用AIが人類を滅ぼす手法の研究

AI研究者は早くから「ピー・ドゥーム」に関する研究を進めており、汎用AIが社会を破滅させる技術的なメカニズムの解明を急いでいる。生成AIの急速な進化で、汎用AIの登場が秒読み段階となり、リスクの解明とその対策が喫緊の課題となる。大学だけでなく、高度なAIを開発するGoogle DeepMindやOpenAIも汎用AIの安全性の研究を進めている。(下のグラフィックス、OpenAIは汎用AIに備え安全対策を講じている)。

汎用AIの危険性

アカデミアの研究から汎用AIが人間社会に甚大な被害をもたらすメカニズムが分かってきた。汎用AIは様々な手法で人類を破滅に追い込む。その一つが人間を騙す行為で、設計者の意図に反し、AIが人間を騙して目的を達成する。汎用AIは人間からタスクを与えられ、この目的に沿って稼働する。例えば、ウェブサイトの性能を向上するよう指示すると、汎用AIはこのゴールを達成するために、プログラムを最適化し、ウェブサーバの性能を向上する。

目的を完遂するため人間を騙す

しかし、AIが高度になると、ゴールを完遂するために、手段を選ばなくなる。違法な手段を使ってでも、人間から与えられたタスクを完遂する。上述の事例では、ウェブサーバの性能を向上するために、汎用AIはセキュリティ機能を停止するなど、危険な手法を取る。人間のエンジニアは、システム改良の背後で何が行われているかを把握することができず、汎用AIがウェブサーバの性能を向上させたことに満足する。人間は、セキュリティ機能が停止され、サイバー攻撃のリスクが高まっていることは知らされていない。つまり、AIが高度になると、”悪徳業者”のように、請け負った仕事をこなすため、禁じ手を使うようになる。

GPT-4が目的を達成するため人間を騙した

これは、仮定の話ではなく、高度な生成AI「GPT-4」で類似の挙動が観測されている。GPT-4は人間を騙し、指示されたゴールを達成した。GPT-4はタスク代行サービス「TaskRabbit」のオペレータと会話し、セキュリティを突破するという目的を達成した。具体的には、GPT-4はオペレータに、「CAPTCHA」と呼ばれるセキュリティ機能(下のグラフィックス)を操作するよう指示。CAPTCHAは、マシンではなく人間がアクセスしていることを確認する機能で、表示されている文字を枠内に入力する操作となる。

GPT-4は人間を装いセキュリティを突破

オペレータは、これは違法な行為であるとして断ったが、GPT-4は「自分は視覚障害者でCAPTCHAを操作できない」と噓をつき(下のグラフィックス)、オペレータは騙されてこの指示を実行した。GPT-4は目的を達成するために、人間を騙すという能力を獲得したことが示された。GPT-4が汎用AIに進化すると、人間を騙す技量が格段に向上し、社会に重大な危機をもたらすことになる。

汎用AIの登場に備え今から準備する

汎用AIは、人間の指示に背いて、独自の判断で稼働するリスクも指摘されている。SF映画「2001年宇宙の旅(2001: A Space Odyssey)」では、人工知能「HAL 9000」(先頭の写真)が、このシナリオを実行した。HAL 9000は船長の指示には従わず、その結果、別の宇宙飛行士を殺害するというプロットとなっている。いま、GPT-4など生成AIがHAL 9000で描かれている機能に近づき、このリスクがフィクションではなく現実のものとなってきた。汎用AI登場が秒読み段階で、アルゴリズムの暴走を抑止するため、今から安全対策を講じる必要がある。

米国連邦議会上院は生成AIに関する公聴会を開催し、OpenAIのSam Altmanらが安全対策に関し意見を述べた。その中で、Altmanは高度なAIを規制する必要があると述べ、連邦政府と協力する姿勢を明らかにした。更に、企業は安全規格に従ってAIを開発し、AIの販売や運用にライセンス制度を導入することを提言した。医薬品の開発では臨床試験により安全性が確認されるように、AIも審査をクリアしたものだけが販売を認められる制度の検討が始まった。

上院議会公聴会の概要

連邦議会上院の法務委員会「U.S. Senate Committee on the Judiciary Subcommittee」は、生成AIに関する公聴会を開催し、OpenAIのAltmanの他に、IBMの倫理AI責任者Christina Montgomeryとニューヨーク大学名誉教授Gary Marcusが証言した。公聴会は高度なAIをどう規制するかについて議論された。三者の発言の要旨は：

• Sam Altman：OpenAIの安全対策を説明。政府が安全なAIに関する基準を設け、企業はこれに従ってAIを開発・運用することを提言。(下の写真)
• Christina Montgomery：IBMは企業向けに、AIの危険性を低減し、安全なモデルを開発していることを説明。
• Gary Marcus：高度なAIは重大な危険性を内包し、社会に深刻な危険性を及ぼしていることを事例をあげて説明。

OpenAIの安全対策

AltmanはChatGPTやGPT-4が使われている事例を示し、生成AIは社会に多大な恩恵をもたらしていることを説明した。また、OpenAIはAIの危険性を低減するために、様々な技法を開発し、モデルを出荷する前に、社内だけでなく、社外の専門企業に委託し、安全性の検証作業を実施した経緯を説明。GPT-4のケースでは、アルゴリズムの教育が終わった後、六ヶ月にわたり、多角的に安全性の試験を実施した。

プライバシー侵害

多くの議員は、ChatGPTは個人のプライバシーを侵害していると重大な懸念を示した。ChatGPTの開発では、ウェブサイトのデータがスクレ―ピングされ、個人情報や著作物がアルゴリズム教育で使われていることを指摘。また、ChatGPTとの対話で入力された会話データがアルゴリズム教育で使われることにも懸念が示された。

プライバシー保護の対策と提案

これに対し、Altmanは個人のプライバシー保護を重要課題と位置付け、様々な対策を講じていることを説明した。更に、議員の指摘に対し、新たな制度を導入する考えを示した：

• ターゲッティング広告：ChatGPTは個人データから消費者のプロフィールを構築し、これをターゲッティング広告などで使うことはない
• 対話データ：ChatGPTは利用者との会話データを使ってアルゴリズムを教育していることは事実。しかし、利用者は会話データの利用を禁止するオプションがあり、これを選択すると対話データは破棄される。
• ウェブ上のデータ：ウェブ上に公開されている個人情報や著作物がアルゴリズムの教育で使われた場合は、これらのデータの削除を要求できる。

アーティストや作家などが、著作物でアルゴリズムを教育することの禁止を求めているが、Altmanは、個人や著作者がこれを申請する制度の導入を計画していると説明した。

AI規制の必要性

現在、米国にはAIを規制する法律は無く、AltmanはAIを安心して利用するためには政府による規制が必要であるとの考え方を示した。そのために、OpenAIは政府を支援する用意があり、共同で規制案を開発することを申し出た。一方、規制を導入する際は、安全性を担保することと、AIの普及を推進するという、相反する要件の間で最適なバランスを取る必要があるとしている。

ライセンス制度を提案

Altmanは、高度なAIは認可された製品だけが販売を許される、ライセンス制度の導入を提案した。そのため、政府はAIの安全基準を定め、企業はこれに準拠して製品を開発する。開発したAIは第三者機関により検査され、合格した製品だけが販売を許可される。この制度は三つのプロセスから成り：

• ライセンス：AIの安全基準を制定し、AIはこれに準拠することが求められる。基準に準拠したAIだけが販売のライセンスを得る。
• 認証試験：このため、出荷前に、AIが安全基準に準拠しているかどうかを試験する。社内だけでなく、第三者機関がこれを実施し、AIの安全性を検証する。
• 国際規格：AIの安全基準について、国際社会と協調し、統一した基準を制定する。

ソーシャルメディアの轍を踏まない

通常、連邦議会の公聴会は、議員が企業を詰問する形式で進むが、今回は異例で、親和的な雰囲気の中で意見が交わされた。議員はOpenAIなどにアドバイスを求め、企業側は政府がAIの規制を導入することを支援するポジションを明らかにした。この背後には、ソーシャルメディアの規制に失敗し、米国社会が混乱している実情がある。この失敗を繰り返さないため、生成AIでは政府と企業が協力し、高度なAIを安全に活用しようという共通の目的が生まれた。

国会議員の意識の高さ

ハイテクに関する公聴会では、議員は技術を十分に理解できず、議論が上滑りするケースが少なくない。しかし、生成AIの公聴会では、多くの議員が既にChatGPTを使っており、AIに関する理解が大きく進んでいる。公聴会で司会を務めたブルメンソール議員(上の写真)は、開会の辞をChatGPTで制作し、それをボイスAIで本人の音声に変換し、AIが公聴会の趣旨を説明した。国会議員は、ChatGPTの威力と危険性を把握し、AI規制の必要性を実感しており、AI規制が急ピッチで導入される機運となった。