OpenAIは11月29日、Sam AltmanがCEOに復帰し、取締役会が新体制で始動したことを発表した。これで一連の騒乱が正式に決着したが、ソーシャルメディアで、OpenAIがAGI(人間レベルのAIエージェント)に到達する革新技術を掴んだとの情報が飛び交っている。これは「Q*(Q-Star、キュースター)」と呼ばれ、大規模言語モデルが推論機能を備え、人間のように思考するAGIに繋がるとしている。OpenAIは何もコメントしておらず、これらは未確認情報であるが、AGIの発表が目の前に迫っていると噂されている。(下の写真、OpenAIのAGI発表イベントのイメージ、GPT-4で生成。)

出典: VentureClef

Q*とは

複数のメディアは、Sam Altmanが解任される前に、OpenAIの研究者が取締役会に、「AI開発で画期的な進展があった」ことを報告した、と報道した。この革新技術が「Q* (Q-Star)」で、AI開発のブレークスルーとなる。Q*は大規模言語モデルの知能を格段に向上させ、人間レベルのAIエージェント「AGI (Artificial General Intelligence)」に繋がる技術となる。取締役会は、OpenAIがAGIを生み出すことで、人類が重大な危機にされされ、これを懸念してAltmanを解任した。

Q*と数学の問題

Q＊は推論機能(Reasoning)を持つ大規模言語モデルで、数学の問題を解く能力が格段に向上したとの解釈がある。数学の問題を解くことが、AGIにむけたブレークスルーになる。数学の問題を解くには、与えられた問題をステップごとに考察し、解法を導き出すプロセスとなる。「数学は推論のベンチマーク」といわれ、AIがステップごとに推論を重ね、最終的に解を導き出す能力が試される。更に、推論機能を拡張することで、数学の問題だけでなく、その他のタスクを実行する。例えば、AIが独自でプログラムを作成し、また、ドキュメントを読んで、そこから結論を引き出すなど、知的なプロセスを実行する。

GPT-4は数学の問題を解けない

AIにとって数学の問題を解くのが難しい理由は、ここに統一した解法は無く、個々の問題に応じて、推論機能を使い、解を導き出す必要があるため。実際に、数学の問題をGPT-4に入力すると、殆ど解を見つけることができない。司法試験にはトップ10％の成績で合格するが、数学に関しては高校生に及ばない。

GPT-4に数学の問題を入力すると

実際に、GPT-4に数学の問題「Simplify tan 100°+ 4sin 100°」を入力すると(下の写真左側)、「approximately −1.73205080756888, which is the negative square root of 3, or −√3」と回答した(右側)。これは、正解であるが、解を導いたステップを読むと、GPT-4はPythonのコードを生成し、ライブラリで数値を計算している。これは、”電卓”で問題を解く方法と同じで、スマートな思考回路とは言えない。

出典: VentureClef

同じ問題を次世代のGPT-4で解くと

OpenAIはGPT-4の機能強化を進めており、問われたことに正しく回答するための新たな技法を開発している。(OpenAIはブログ「Improving mathematical reasoning with process supervision」でこの技法を発表)。 この技術は「Process Supervision」と呼ばれ、GPT-4が解を正しく導き出すために、思考回路を人間が検証する手法となる。GPT-4は問われたことに対し、ステップごとに考察し、それぞれのステップを人間が検証し、その結果をモデルフィードバックする。因みに、現在の手法は「Outcome Supervision」といわれ、最終解を人間が検証する手法を取るが、Process Supervisionは思考回路の各ステップで検証結果をフィードバックする。Process Supervisionは数学の問題を解くことに適しており、OpenAIはその結果を公開した(下のグラフィックス)。上述の問題「Simplify tan 100°+ 4sin 100°」を入力すると、GPT-4はステップごと(緑色の部分、26ステップから構成される)に推論を重ね、結論を導き出す。ここでは”電卓”は使わず、人間のような思考方法で解答を導きだした。

出典: OpenAI

ネットで飛び交う未確認情報

ソーシャルメディアで、Q*とは何か、憶測が飛び交っている。その一つが、上述の「Process Supervision」で、この技術開発でブレークスルーがあり、高度な推論機能を持つ大規模言語モデルがQ*であるとしている。Q*により、モデルは数学の問題を解くだけでなく、幅広いタスクを実行でき、これがAGIの基礎機能になるという解釈である。

Yann LeCunの解釈

MetaのチーフサイエンティストであるYann LeCunもQ*に関してコメントしている(下の写真)。『Q*の信ぴょう性とは別に、大規模言語モデルの次のゴールは「言葉の推測機能」を「プランニング機能」で置き換えること』と述べている。言葉の推測機能は「Auto Regressive Token Predction」と呼ばれ、GPT-4など大規模言語モデルは、入力された言葉に続く次の言葉を予想する機能を備えている。このシンプルな予想機能が現在のブレークスルーに繋がった。この次のステップは、大規模言語モデルが人間のように、タスクを完遂するために必要なステップを計画「Planning」する機能の開発となる。これがグランドチャレンジで、OpenAIやMetaやGoogleは、次世代モデルの開発で、このテーマにフォーカスしている。

出典: Yann LeCun @ X

AGIのリリースが迫る

OpenAIは取締役会のメンバーを入れ替え、新たな体制でAI開発を進めているが、AGIの危険性を過度に危惧する役員が退任したことで、次世代モデルの開発が加速されると予想されている。OpenAIのAGIの製品発表は間近に迫っているとの予想もあり、AI開発は新たなステージに入った。