人間の知能を遥かに上回るAIは「スーパーインテリジェンス(Superintelligence)」と呼ばれ、社会に多大な恩恵をもたらすとともに、人類存続の脅威になると考えられている。OpenAIは、10年以内にスーパーインテリジェンスが開発されると予測しており、その安全性を研究する専任部門を設立し、制御技法の研究を進めている。4年計画のプロジェクトで、その最初の成果を発表した。

出典: OpenAI

スーパーインテリジェンスとは

スーパーインテリジェンスは一般に、「Artificial Superintelligence (ASI)」と呼ばれ、人間の知能を遥かに上回るAIと理解される。厳密な定義は無いが、知的能力が高く、幅広い分野で難解な問題を解決すると期待されている。例えば、地球温暖化問題やがんなどの難病の治療法などで解法が期待されている。一方、スーパーインテリジェンスは人間の制御を逃れ、人類の弱体化や滅亡に繋がると強く危惧されている。

スーパーアラインメント

スーパーインテリジェンスは映画で登場するAIで、技術概要や開発時期について統一した見解は無い。しかし、OpenAIは、スーパーインテリジェンスは10年以内に開発されると予測しており、その安全性に関する研究を開始した。スーパーインテリジェンスを安全に制御する技法は「スーパーアラインメント(Superalignment)」と呼ばれ、AIを人間の価値観に沿うように改良する技法となる。現行の生成AIを安全に運用する技術は「アラインメント(Alignment)」と呼ばれるが、これを拡張したコンセプトとなる。

どう制御するか

GPT-4など生成AIを改良し安全性を強化する際は、人間が教師となりAIを指導する(下のグラフィックス左側)。教師である人間の知能はAIより高く、人間の常識などをアルゴリズムに教える。その代表手法が「Reinforcement Learning from Human Feedback」で、人間が正しい答えをモデルにフィードバックする。しかし、人間の知能を遥かに上回るスーパーインテリジェンスが登場すると、このモデルの安全性を如何に担保するかが重大な課題となる(下のグラフィックス中央)。超人的な知能を持つAIを人間が教育できるかが問われる。

出典: OpenAI

OpenAIの手法

OpenAIは、スーパーアラインメントの専任研究組織で、このテーマに関する研究を進めている。この組織は3月に設立され、今週その最初の研究成果を発表した。スーパーインテリジェンスは登場しておらず、実際のモデルを使って技法を開発することはできない。このため、OpenAIはスーパーアラインメントの論理モデルを構築し、その成果を計測した。小さなモデル(Weak Model)が教師となる、大きなモデル(Strong Model)の生徒を教育し、安全性を強化できるかが試験された。

試験の結果

この研究では小さなモデル(教師)として「GPT-2」(下のグラフ最上段)が、大きなモデル(生徒)として「GPT-4」(最下段)が使われた。GPT-2は生成AIの初期のモデルで、その機能は限られている。GPT-4は最も高度な生成AIで、GPT-2がGPT-4を制御できるかが試験された。GPT-2が生成するコンテンツでGPT-4の安全機能を再教育した。このアラインメントでGPT-4の安全性は向上するが、その性能は劣化する(下のグラフ、緑色)。しかし、特別な技法(Auxiliary Confidence Loss)を導入することで、本来の性能に近づけることができる(下のグラフ、紫色、GPT-3.5程度の性能を示した)。

出典: OpenAI

研究の意義

この研究では小さなモデル(GPT-2)が大きなモデル(GPT-4)を制御できる筋道が示された。これは「Weak-to-strong generalization」と呼ばれ、人間(小さなモデル)がスーパーインテリジェンス(大きなモデル)を教育する際に、この方式が適用できるかが問われる。スーパーアラインメントに関する研究の第一歩で、OpenAIはスーパーインテリジェンスが開発される間に、この課題を解く計画である。

スーパーアラインメント研究

スーパーインテリジェンスに関しては統一した定義はなく、その登場時期も様々な議論がある。しかし、OpenAIはスーパーインテリジェンス開発で大きなブレークスルーがあった、という憶測がソーシャルメディアで交わされている。CEOのSam Altmanの解任はスーパーインテリジェンスに関連すると噂されている。OpenAIは超人的なAI開発を進めており、スーパーアラインメントに関する研究が極めて重要な位置を占める。この研究に会社のリソースの20％を充てると述べており、AI開発は安全開発でもある。

OpenAIの取締役会はCEOのSam Altmanを解任したが、その後、復帰することで合意が成立し、新体制で再出発する。取締役会はAltmanを解任した理由を明らかにしていないが、AIの危険性に強い危機感を抱いていたとされる。Altman解任に賛成したメンバーは、「Effective Altruism(効果的利他主義)」という社会運動の推進者で、AIは地球温暖化問題に匹敵する重大な社会問題であるという信念の元で、OpenAIの企業経営を担ってきた。

出典: OpenAI

Effective Altruismとは

Effective Altruism(エフェクティブ・オルトュルイズム、効果的利他主義)とは慈善活動の考え方の一つで、影響を受ける個人の幸福を最大限にすることを目的とする。オックスフォード大学の哲学者などにより提唱されたが、今では、カリフォルニア大学バークレー校がその活動拠点となっている。極端な形の慈善活動で、個人や企業の収入を最大限にし、それを社会問題を解決するために使うことを基本理念とする。シリコンバレーで個人が巨大な富を得るが、それを地球温暖化など社会問題を解決するために使うことを奨励する。

Effective AltruismとAIの関係

Effective Altruismは経済学や統計学などを使い、社会問題を効率的に解決する手法を取る。特に、政府が取り扱えない問題や、社会に甚大な影響を及ぼす分野を対象とする。更に、最小の投資で最大限の効果を得る手法を重要視する。地球温暖化問題がその一つで、社会に重大なインパクトを与えるテーマを手掛ける。今では、対象がAIに広がり、AIを安全に開発するための活動や研究を重点的に進めている。ただ、Effective Altruismの活動家は、AIが人類を破滅させるという強い危機感を持っていることが特徴となる。AIを安全に設計し運用することは開発者に課された責務であるが、Effective AltruismはAIの危険性を極端な形でズームアップし、社会に過大な不安を抱かせていることも事実である。

Effective Altruismの推進者

OpenAIの取締役会のメンバーがEffective Altruismの推進者で、AI開発を安全に推進することを求めていた。

• その一人がTasha McCauley(下の写真右端)で、Effective Altruism活動を支援する団体「Effective Ventures」の役員を務めている。この団体は、Effective Altruism組織に資金を拠出するかたちで活動を支援している。活動の中心はAIで、アルゴリズムの安全性に関する研究を進めている。
• もう一人は、Helen Toner(左から二番目)で、ジョージタウン大学の研究機関「Center for Security and Emerging Technology」に属し、AI先端モデルの安全性に関する研究に従事している。

出典: Getty Image

OpenAI取締役会のメンバ

両氏はAGIが人類に重大な危機をもたらすとの信念のもと、AI開発のペースを落とすことで危険性を低減するとのポジションを取る。Altmanはこの指針に従わないでAI開発を継続し、これが原因で解任されたと解釈されている。四人の役員がAltmanの解任に賛成票を投じたが、Ilya Sutskever(上の写真左端)はその後、意見を翻しサポートする意思を表明した。また、Adam D’Angelo(右から二番目)は留任し新役員として会社の経営に携わる。Tasha McCauleyとHelen Tonerは役員を辞任した。

シリコンバレーで活動が広がる

シリコンバレーの著名経営者や研究者がこのEffective Altruismを支持している。TeslaのCEOであるElon Muskは、Effective Altruismは自分の信念に近い考え方だとして、この活動に賛同している。事実、Muskは早くからAIが人類を滅亡させるとして、安全なAIの開発を提唱している。また、Facebookの創設者の一人であるDustin Moskovitzはこの活動のリーダーで、慈善団体「Open Philanthropy」を創設し、Effective Altruism活動家に出資している。

Effective Altruismに対する疑問

Effective AltruismやAIの危険性関する研究は、安全な社会を構築するために必須であると評価されてきたが、この流れが変わりつつある。暗号通貨交換事業者「FTX」の破綻を契機に、Effective Altruismの評価が大きく変わった。FTX創設者Sam Bankman-Friedは、Effective Altruismの強力な推進者で、事業収入のほぼすべてを社会に還元すると述べてきた。しかし、米国証券取引委員会はBankman-Friedを金融不正で提訴し、裁判所は有罪の判決を下した。Effective Altruismの推奨者が有罪判決を受けた事実はショッキングで、この活動の信用度が大きく低下した。

OpenAIの新体制

OpenAIは取締役を一新し新たな体制でスタートした。Effective Altruismの推奨者が退任し、会社や組織運営で実績のある大物が着任した。取締役会の新たなメンバーは：

• Bret Taylor(新任、下の写真左側)：取締役会長。Salesforceの共同CEOやTwitterの役員を歴任。
• Larry Summers(新任、右側)：クリントン政権で財務相長官を歴任。オバマ政権では国家経済会議の長官として経済政策などをアドバイス。
• Adam D’Angelo(在任)：Facebookでチーフサイエンティストなどを歴任。Altmanの解任に賛成票を投じた。今でもAIを安全に開発するポジションを保持。

出典: Getty Image

新しいOpenAIの開発方向

OpenAIはAltmanが復帰し、役員を一新して事業を再開するが、AI開発戦略が大きく変わると予想される。高度なAIをどのようなペースで開発するのか、また、危険性を低減する研究を如何に進めるかが焦点となる。OpenAIは次世代モデル「GPT-5」を開発しているが、この開発戦略がカギとなる。新しい役員会はEffective Altruism推奨者が退陣し、AI開発の制約が緩和され、製品化のペースが上がると予想される。今まではGPT-5の開発が足踏み状態であったが、これが加速される。一方、米国社会にはEffective Altruismに代表されように、AIの将来に重大な危機感を抱いている消費者は多く、安全性を如何に担保するのか、技術革新とセーフティのバランスが問われている。

OpenAIの取締役会は、11月17日、CEOのSam Altman(下の写真)が退任すると発表した。後任には、CTOのMira Muratiが暫定的なCEOとして就任する。これは事実上の解任で、Altmanと取締役会の間で、AI開発の進めかたで重大な意見の相違が表面化した。

出典: OpenAI

Altman解任の経緯

OpenAIは解任の理由について何も触れておらず、様々な憶測が飛び交い、市場が混乱している。米国メディアは、AI開発において、利益を優先するのか、それとも安全性を重視するのか、意見の対立があったと報道している。また、MicrosoftはOpenAIに出資し、密接に事業を進めているが、解任については発表直前に知らされ、株価が大きく値下がりした。OpenAIを巨大企業に育てたCEOを突然解任したことに対し、不信感が広がるとともに、Altmanを擁護する声が高まっている。更に、Altmanに追随してOpenAIの開発者が離職するのか、また、Altmanは新たにAI企業を創設するのか、次のステップが注視されている。

OpenAIの公式発表

OpenAIはAltmanが退任すると発表し、その理由は「Altmanは取締役会とのコミュニケーションで誠実でなく、責務を果たすことが難しい」と述べている(下の写真)。これ以上の説明は無く、唐突な解任で、その理由が明らかにされず、OpenAIの取締役会に対する信用度が低下している。取締役会は、企業経営で、公正な運営がなされるよう監視する役割を果たすが、企業の成長を担ってきた経営者を、理由を明らかにしないで解任したことに、批判の声が高まっている。

出典: OpenAI

米国メディアの報道

米国メディアは解任の経緯について速報で伝えており、その多くはAI開発で路線の違いが鮮明になったと報道している。Bloombergは、「Altmanは技術開発を急ぎ、それに対し、取締役会は安全対策を優先することを求め、意見が対立し、これが解任に繋がった」と分析している。特に、チーフサイエンティストのIlya Sutskeverが、Altmanと幅広い分野で意見が対立したと報道している。

出典: New York Times

OpenAI関係者と役割 (上の写真、左から)

• Mira Murati：暫定CEO、アルバニア出身、TeslaでModel Xの開発に携わる、今ではOpenAIの顔として技術を伝える役割を担っている
• Sam Altman：ミズーリ州出身、ベンチャーキャピタル「Y Combinator」のCEOとして多くの企業を育てる、シリコンバレーで幅広いネットワークを持つ
• Greg Brockman：元会長兼社長、ノースダコタ州出身、AltmanらとOpenAIを設立、「OpenAI Five」などAIエージェントを開発、Altmanの解任に伴って会社を退社
• Ilya Sutskever：旧ソビエト出身、チーフサイエンティスト、トロント大学で「AlexNet」を発表しこれがAIブームの引き金となる、AltmanらとOpenAIを設立

利益優先か安全担保か

OpenAI社内は、AI開発において安全性を優先するのか、それとも、開発のスピードを重視し、利益を重視するのか、意見が分かれていた。Altmanは技術推進派で、AI開発には大規模な計算機が必要で、独自でAIチップを開発する構想を明らかにしている。このため、サウジアラビア政府と投資に関する交渉を進めていると報道されている。一方、Sutskeverは、AIの安全対策を優先すべきと主張し、危険性を解明する部門を設立した。AGIの登場に備え、アルゴリズムを制御する技術「Superalignment」の研究を推進している。

会社の構造が要因

また、OpenAIが特異な組織構造であることが路線の違いに影響している。OpenAIはAI研究の非営利団体として、2015年に設立された。OpenAIはオープンな手法でAIを開発することをミッションとしてきたが、2019年、会社の構造を改定し、利益を追求する営利団体を設けた。OpenAIは、親会社である非営利団体「OpenAI, Inc.」と、その子会社の営利団体「OpenAI GP LLC」から構成される(下のグラフィックス)。OpenAI, Inc.(非営利団体)が企業の戦略を決定し、OpenAI GP LLC (営利団体)がこれに基づいて製品を開発し利益を追求する構造となる。取締役会は営利団体に属し、ChatGPTなどの技術は営利団体で開発された。取締役会は、会社の約定に従って、事業部門に社会に寄与するAIの開発を求めてきた。

出典: OpenAI

主要メンバーの離散

OpenAIが経営方針を転換したことで、幹部社員が会社を離れ、生成AIスタートアップ企業を設立し、独自に安全なモデルを開発している。GPT-3の開発責任者であったDario Amodeiは、他のメンバーと共にOpenAIを去り、Anthropicを設立した。AnthropicはChatGPTに相当するモデル「Claude 2」(下のグラフィックス)を開発し、今ではOpenAIの対抗軸となっている。Anthropicは、生成AIを安全に運用するために、アルゴリズムが順守すべき「憲法(Constitution)」を定め、利用者の権利と安全性を担保する方式を取る。

出典: Anthropic

アメリカ社会の世論

唐突で謎に包まれた解任で、アメリカ社会でAltmanを擁護する声が増している。Altmanは、Appleを去ったSteve Jobsにイメージが重ねられ、解任は理にかなっていないとの意見が増えている。当時のCEOと意見が対立し、JobsはAppleを解雇されたように、Altmanは路線の相違で取締役会から解任された。Googleの元CEOであるEric Schmidtは、「Altmanは会社をゼロから900億ドルの規模に成長させ、ヒーローである」と述べている。

次のステップは

同時に、市場はOpenAIの新たな企業戦略と、Altmanの次の動きを注視している。OpenAIは次世代モデル「GPT-5」を開発しているとされ、これをどんなペースで進めるのかが焦点となる。また、Altmanの解任に抗議して、同日、会長兼社長であるGreg Brockmanが会社を去った。これに追従する幹部社員が現れるのか、また、Altmanはカギとなるエンジニアと共にOpenAIに対抗する企業を創設するか、次のステップに関心が集まっている。