タグ別アーカイブ: ai

Googleは生成AI次世代モデル「Gemini」を投入、ベンチマークでGPT-4を上回るがその差は僅か、キーワードは「推論機能」と「マルチモダル」

Googleは12月6日、生成AI次世代モデル「Gemini」を発表した。GeminiはベンチマークでOpenAIのGPT-4を上回り最先端の言語モデルとなる。Geminiは複雑なタスクをステップごとに思考する「推論機能」が強化され回答の精度が向上した。また、Geminiはテキストの他に、イメージやビデオやオーディオを理解する「マルチモダル」が導入され、視覚や聴覚を備えたモデルとなる。一方、Googleが満を持して投入したGeminiであるが、GPT-4を上回るもののその差は僅かで、生成AI開発で苦戦していることが窺われる。

出典: Google

Geminiの概要

GeminiはGoogleが開発した最大規模の言語モデルで高度な機能を持つ。Geminiの特徴は、データセンターからスマホで稼働できる構成で、三つのサイズから構成される。

  • Gemini Ultra：最大構成のモデルでデータセンターで使われ複雑なタスクを実行する。このモデルがGPT-4対抗機種となる。ただし、リリースは2024年1月を予定。
  • Gemini Pro：中規模構成のモデルで幅広いレンジのタスクを実行する。Googleのチャットボット「Bard」のエンジンとして稼働している。
  • Gemini Nano：最小構成のモデルでモバイルデバイスの上で稼働する。Googleのスマホ「Pixel 8 Pro」に搭載されている。
出典: Google

ベンチマーク結果

GoogleはGemini Ultraのベンチマーク結果を公開し、GPT-4の性能を上回ったことをアピールしている。標準的な32のベンチマークで、Geminiが30部門でGPT-4をうわまわり、この市場でトップの機能を持つモデルとなる。ベンチマーク結果のサマリーは下記の通り(いずれもGemini Ultraの性能)：

  • MMLU (massive multitask language understanding)：言語モデルの総合性能を評価するベンチマーク(下のテーブル最上段)。GPT-4を上回ったことに加え、人間の言語能力を初めて超えた。
  • Big-Bench Hard：言語モデルの推論機能を評価するベンチマーク(上から二段目)。GPT-4の性能をわずかに上回る。
  • MATH：数学の問題を解く能力を評価するベンチマーク(上から六段目)。推論機能を評価するもので、試験の中で最難関の分野。
出典: Google

推論機能

Geminiは推論機能が強化され、複雑なタスクを正確に実行することができる。推論機能とは、与えられた指示をステップごとに考察し、最終ゴールに到達するための基礎技術となる。推論機能を使うと、複雑な検索を正確に実行できる。研究者は過去の論文から、特定のテーマに関するものを検索するが、その数は膨大で選別には時間を要する。ここでGeminiを使うと、このプロセスを高速で実行できる。Geminiに、特定のテーマ(例えば非コードゲノム変異(Non-Coding Variants))に関する論文を検索するよう指示すると、推論機能を使ってプロセスを検証しながらこれを実行する。Geminiは20万件の論文を読み、指示されたテーマが書かれているものを250点選び出す(下の写真)。実行結果を表示させる指示では、過去の研究成果のグラフを入力すると、Geminiは新しい情報を反映したグラフを生成する。

出典: Google

マルチモダル

Geminiはマルチモダル機能が導入され、テキストに加え、イメージ、ビデオ、オーディオなどのモードを理解することができる。Geminiは手書きの文字を理解することができ、生徒が提出した算数の答案を採点することができる。生徒の手書きの回答(下の写真左側)を読み、正解かそうでないかを判定する。更に、間違っている個所を特定(左側赤色の枠)し、なぜ間違っているかを説明し、問題の正解を示す(右側)。このケースではマルチモダルの他に、推論機能を使って物理の問題の解法を説明する。

出典: Google

アーキテクチャ

Geminiは大規模言語モデルであるが、そのアーキテクチャはGPT-4とは大きく異なる。従来のモデルは、メディアの種類によってそれを処理するための専用ネットワークを備える。テキストを処理するネットワークや、イメージを処理するネットワークが構築され、最終的にそれを統合してマルチモダルの処理を実行する。これに対しGeminiは、単一のネットワークで異なるメディアを処理する構造となる。テキスト、オーディオ、イメージ、ビデオを単一のネットワーク(Transformer)で処理する(下の写真)。このため、Geminiはマルチモダル・ネイティブのネットワークという位置づけになる。

出典: Google

次世代モデルの開発競争

GoogleはGeminiを11月に発表すると噂されていたが、この予定が一か月延伸された形となった。しかし、Geminiのハイエンドモデル「Gemini Ultra」について製品は投入されず、製品発表に留まった。リリースは2024年1月に予定されている。GeminiはGPT-4の性能を上回るがその差は僅かで、製品開発が難航していることをうかがわせる。Geminiはマルチモダルの中でビデオを強化し、ここでGPT-4に大きく先行するといわれてきたが、発表ではその新機能は登場しなかった。OpenAIは次世代モデル「GPT-5」を開発しており、生成AIの開発競争が一段と激化する。

OpenAIはAGIに到達するブレークスルーを達成？ ネットで飛び交う##未確認情報##

OpenAIは11月29日、Sam AltmanがCEOに復帰し、取締役会が新体制で始動したことを発表した。これで一連の騒乱が正式に決着したが、ソーシャルメディアで、OpenAIがAGI(人間レベルのAIエージェント)に到達する革新技術を掴んだとの情報が飛び交っている。これは「Q*(Q-Star、キュースター)」と呼ばれ、大規模言語モデルが推論機能を備え、人間のように思考するAGIに繋がるとしている。OpenAIは何もコメントしておらず、これらは未確認情報であるが、AGIの発表が目の前に迫っていると噂されている。(下の写真、OpenAIのAGI発表イベントのイメージ、GPT-4で生成。)

出典: VentureClef

Q*とは

複数のメディアは、Sam Altmanが解任される前に、OpenAIの研究者が取締役会に、「AI開発で画期的な進展があった」ことを報告した、と報道した。この革新技術が「Q* (Q-Star)」で、AI開発のブレークスルーとなる。Q*は大規模言語モデルの知能を格段に向上させ、人間レベルのAIエージェント「AGI (Artificial General Intelligence)」に繋がる技術となる。取締役会は、OpenAIがAGIを生み出すことで、人類が重大な危機にされされ、これを懸念してAltmanを解任した。

Q*と数学の問題

Q＊は推論機能(Reasoning)を持つ大規模言語モデルで、数学の問題を解く能力が格段に向上したとの解釈がある。数学の問題を解くことが、AGIにむけたブレークスルーになる。数学の問題を解くには、与えられた問題をステップごとに考察し、解法を導き出すプロセスとなる。「数学は推論のベンチマーク」といわれ、AIがステップごとに推論を重ね、最終的に解を導き出す能力が試される。更に、推論機能を拡張することで、数学の問題だけでなく、その他のタスクを実行する。例えば、AIが独自でプログラムを作成し、また、ドキュメントを読んで、そこから結論を引き出すなど、知的なプロセスを実行する。

GPT-4は数学の問題を解けない

AIにとって数学の問題を解くのが難しい理由は、ここに統一した解法は無く、個々の問題に応じて、推論機能を使い、解を導き出す必要があるため。実際に、数学の問題をGPT-4に入力すると、殆ど解を見つけることができない。司法試験にはトップ10％の成績で合格するが、数学に関しては高校生に及ばない。

GPT-4に数学の問題を入力すると

実際に、GPT-4に数学の問題「Simplify tan 100°+ 4sin 100°」を入力すると(下の写真左側)、「approximately −1.73205080756888, which is the negative square root of 3, or −√3」と回答した(右側)。これは、正解であるが、解を導いたステップを読むと、GPT-4はPythonのコードを生成し、ライブラリで数値を計算している。これは、”電卓”で問題を解く方法と同じで、スマートな思考回路とは言えない。

出典: VentureClef

同じ問題を次世代のGPT-4で解くと

OpenAIはGPT-4の機能強化を進めており、問われたことに正しく回答するための新たな技法を開発している。(OpenAIはブログ「Improving mathematical reasoning with process supervision」でこの技法を発表)。 この技術は「Process Supervision」と呼ばれ、GPT-4が解を正しく導き出すために、思考回路を人間が検証する手法となる。GPT-4は問われたことに対し、ステップごとに考察し、それぞれのステップを人間が検証し、その結果をモデルフィードバックする。因みに、現在の手法は「Outcome Supervision」といわれ、最終解を人間が検証する手法を取るが、Process Supervisionは思考回路の各ステップで検証結果をフィードバックする。Process Supervisionは数学の問題を解くことに適しており、OpenAIはその結果を公開した(下のグラフィックス)。上述の問題「Simplify tan 100°+ 4sin 100°」を入力すると、GPT-4はステップごと(緑色の部分、26ステップから構成される)に推論を重ね、結論を導き出す。ここでは”電卓”は使わず、人間のような思考方法で解答を導きだした。

出典: OpenAI

ネットで飛び交う未確認情報

ソーシャルメディアで、Q*とは何か、憶測が飛び交っている。その一つが、上述の「Process Supervision」で、この技術開発でブレークスルーがあり、高度な推論機能を持つ大規模言語モデルがQ*であるとしている。Q*により、モデルは数学の問題を解くだけでなく、幅広いタスクを実行でき、これがAGIの基礎機能になるという解釈である。

Yann LeCunの解釈

MetaのチーフサイエンティストであるYann LeCunもQ*に関してコメントしている(下の写真)。『Q*の信ぴょう性とは別に、大規模言語モデルの次のゴールは「言葉の推測機能」を「プランニング機能」で置き換えること』と述べている。言葉の推測機能は「Auto Regressive Token Predction」と呼ばれ、GPT-4など大規模言語モデルは、入力された言葉に続く次の言葉を予想する機能を備えている。このシンプルな予想機能が現在のブレークスルーに繋がった。この次のステップは、大規模言語モデルが人間のように、タスクを完遂するために必要なステップを計画「Planning」する機能の開発となる。これがグランドチャレンジで、OpenAIやMetaやGoogleは、次世代モデルの開発で、このテーマにフォーカスしている。

出典: Yann LeCun @ X

AGIのリリースが迫る

OpenAIは取締役会のメンバーを入れ替え、新たな体制でAI開発を進めているが、AGIの危険性を過度に危惧する役員が退任したことで、次世代モデルの開発が加速されると予想されている。OpenAIのAGIの製品発表は間近に迫っているとの予想もあり、AI開発は新たなステージに入った。