大規模言語モデル「GPT-4」は、サイズを拡大しても、それに応じて性能が伸びない、という問題に直面している。ニューラルネットワークのパラメータの数を増やしても、モデルの性能が向上しない、ということを意味する。OpenAIのCEOであるSam Altmanは、この問題を認め、「AIの規模拡大競争の時代は終わった」と述べている。この発言は、OpenAIは大規模言語モデルの新しいアーキテクチャの開発を進めている、ことを示唆している。

出典: Adobe Stock

大規模言語モデルの性能問題とは

これは「Diminishing Returns」と呼ばれ、言語モデルのサイズを大きくしても、その成果(リターン)が得られない事象で、性能が伸びない問題を指す。OpenAIは言語モデルとして「GPTシリーズ」を開発してきたが、GPT-3までは規模を拡大すると、それに伴って性能が向上した。特に、GPT-3では、人間レベルの言語機能を習得し、社会に衝撃を与えた。しかし、最新モデルGPT-4ではこのトレンドが崩れ、もうこれ以上ニューラルネットワークの規模を拡大できない地点に到達した。

言語モデルの限界

大規模言語モデルが限界点に到達したとは、今のプロセッサでは処理できない規模になったことを意味する。技術的な観点からは、GPT-4は「Transformers」というアーキテクチャで構成されたモデルで、規模を拡大するとは、パラメータの数を増やし、教育データの量を拡大することを意味する。GPT-4を教育するためには巨大なシステムが必要で、Altmanはモデルの開発で1億ドルを要したと述べている。更に、開発した巨大なモデルを実行するには、大量の計算機が必要になり、運用費用が巨額になる。つまり、巨大な言語モデルを開発し、それを運用するには、技術的にもビジネスの観点からも、現実的でないというポイントに到達した。

出典: Microsoft

新たなアーキテクチャの研究

このため、Altmanは言語モデルの性能限界を突破するために、新たなアーキテクチャを探求する必要があると述べている。しかし、そのアプローチについては何も語っておらず、研究者の間でその手法に関する議論が白熱している。

研究者の推論を纏めると ##未確認情報＃＃

ネットではGPT-4のアーキテクチャについて様々な議論が交わされている。OpenAIは、これらの推測に関し何もコメントしておらず、議論の過程の情報となる。これらの議論を纏めると、GPT-4は単体のモデルではなく、16の小型モジュールを組み合わせた、複合型の言語モデルとなる。アーキテクチャの観点からは、このモデルは「Mixture of Experts」と呼ばれ、16の専用モジュールから成り、プロンプトに対しモジュールの中の「エキスパート」が回答を生成するという構図となる。具体的には、GPT-4のシステム構成は：

• モジュール構成：GPT-4は16のモジュールから構成される。モジュールのパラメータの数は1110億で、GPT-3程度の規模となる。GPT-4全体では、パラメータの数は1.8兆個となる。GPT-4はGPT-3を16ユニット結合したサイズとなる。
• エキスパート機能：この構成は「Mixture of Experts (MoE)」と呼ばれ、各モジュールが分野のエキスパートとなる。問われたことに関し、最適のモジュールが解答を生成する。例えば、科学に関する質問には、それ専門のモジュールが稼働し解答を生成する。
• 教育データ：GPT-4は13兆のトークン(Token、単語などの基本単位)で教育された。極めて大量のデータで教育された。教育データはテキストやプログラムのコードが使われ、また、ツイッターやRedditなどのソーシャルメディアのデータが使われた。更に、YouTubeのビデオと、書籍などの著作物が使われた。
• インファレンス(実行)：開発された巨大なモデルを如何に効率的に運用するかが課題となる。モデルを実行するプロセスは「Inference」と呼ばれ、Mixture of Experts構成を取ることで、運用コストを低減できる。プロンプトに対し、GPT-4全体を稼働させる必要はなく、専用のモジュールを２つ稼働させる。これにより、GPT-4を実行するコストはGPT-3の3倍と予測される。

Mixture of Expertsとは

Mixture of Expertsは早くから開発されている技法で、Googleはこのアーキテクチャに基づくモデル「GLaM」をリリースした。Googleは、このアーキテクチャを「Mixture-of-Experts with Expert Choice Routing」として発表している(下のグラフィックス)。これは、Transformersの「Feed Forward Neural Networks(FFN)」というネットワークを「Mixture-of-Experts」(FFN 1からFFN 4の四つのモジュール)で置き換えることにより、モデルの処理を効率化できるとしている。Googleはこのアーキテクチャに基づく言語モデル「Generalist Language Model (GLaM)」を開発し、言語モデルの規模を拡大できることを示した。具体的には、「GLaM」と「GPT-3」を比較すると、教育したモデルを実行するプロセス(Inference)で、計算量を大きく削減することができることを示した。

出典: Google

規模拡大からアイディアを競い合う時代に

大規模言語モデルは「Transformers」で構成されたニューラルネットワークで、その規模を拡大することで、性能が向上し、新たな機能を獲得してきた。しかし、このトレンドは限界地点に達し、これ以上規模を拡大しても大きな性能の伸びは期待できない。これからは、言語モデルのアーキテクチャを改良することで、スケーラビリティを探求することとなる。この分野では既に、GoogleやDeepMindが新技術を開発しており、OpenAIとの競合がより厳しくなる。

サンフランシスコでセキュリティの国際会議「RSA Conference 2023」が開催された。今年の中心テーマは生成AIで、ChatGPTを悪用した犯罪とその防御方法が議論された。セキュリティ企業は生成AIを活用した次世代の防衛技術を公開した。Googleは世界最大規模の生成AIを開発しており、これをベースにしたセキュリティ技術を公開した。

出典: VentureClef

生成AIによる防衛技術

Googleは生成AIを使ったセキュリティ技術「Cloud Security AI Workbench」を公開し、RSA 2023で注目を集めた(上の写真)。AI WorkbenchはGoogleが開発した大規模言語モデル「Sec-PaLM」に構築されるセキュリティ技術で、高精度でマルウェアを検知する機能を持つ。Sec-PaLMとは、名前が示すように、世界最大規模の生成AI「PaLM」をベースとするシステムで、これをセキュリティに特化したモデルにアップグレードした。つまり、世界最大規模のセキュリティ向け生成AIとなる。

セキュリティ向け教育データ

AI Workbenchの教育では、セキュリティに関する大量のデータが使われ、モデルはマルウェアに関する高度なスキルを学習した(下のグラフィックス)。これは「セキュリティ・インテリジェンス」と呼ばれ、Googleが収集したデータの他に、パートナー企業であるMandiantが保有するデータが使われた。具体的には、システムの脆弱性、マルウェア、攻撃のシグナル、攻撃の特性やその挙動などに関するデータで教育され、アルゴリズムはサイバー攻撃に関する包括的なスキルを学習した。

出典: Google

AI Workbenchの機能

AI Workbenchは世界最大規模の生成AIをベースとするシステムで、セキュリティに関するプロセスを自動化する。AI Workbenchは、システムに対する攻撃を把握し、これに対する防衛機能を自律的に実行する。また、システム全体を検証し、セキュリティに関する問題点などを指摘する。AI Workbenchの主要機能は：

• サイバー攻撃を把握：セキュリティに関する大量のデータ(セキュリティのログや通信トラフィックなど)を解析しサイバー攻撃の兆候を把握する
• サイバー攻撃に対する防御：攻撃に対して自律的に防衛措置(IPアドレスの封鎖やファイルの検疫など)を実施し脅威を低減する
• システムの脆弱性の検査：システム全体を検証してセキュリティ・ギャップなど脆弱性を把握し、セキュリティ強化に関する提言を行う

マルウェア検知のサービス

GoogleはAI Workbenchを統合したセキュリティサービス「VirusTotal Code Insight」(下の写真)を開発した。このサービスはコードをスキャンし、それがマルウェアであるかどうかを判定する。その際に、マルウェアである確度(下の写真上段、レベル８)と、マルウェアの特性や挙動を分かりやすい言葉で説明し(下段)、分かりやすいインターフェイスで迅速な対応が可能となる。VirusTotalはGoogleが買収した企業で、マルウェアに関する情報を集約したウェブサイトを運営している。

出典: VirusTotal

攻撃に関する情報検索

Google Cloudは大量のログデータから攻撃のシグナルを検知するセキュリティ機能「Chronicle Security Operations」を提供している。Chronicle Security OperationsはAI Workbenchを統合し、インテリジェントにサイバー攻撃を検知する技術を提供する。専門家に代わりAIが検索のためのクエリーを生成し、自律的に攻撃を検索し、その結果を分かりやすく表示する。これにより、セキュリティ専門家でなくても、マルウェアによる攻撃を検知できる。(下のスクリーンショットは「CONFIDENTIAL」というタイトルのドキュメントを外部に送信したイベントを検索した事例で、データリークを迅速に検知する)。

出典: Google

AI Workbenchの目的

企業は数多くのセキュリティツールを導入しているが、これらが生成するデータの数は膨大で、これを人間が解析するには限界があり、AI Workbenchがこれを自動化する。また、セキュリティツールを使うには高度な技術を要するが、AI Workbenchがインターフェイスとなり、セキュリティに関する情報を分かりやすく説明する。セキュリティ市場では高度な技術を持つエンジニアが不足しており、人間に代わりAI Workbenchがセキュリティ専門家として機能する。

生成AIで防衛機能を強化

GoogleはAI Workbenchをパートナー企業に提供し、セキュリティ製品に組み込まれて出荷される。その後、一般向けに提供され、企業はAI Workbenchを統合したセキュリティシステムを開発することができる。その際に、企業は所有するデータでアルゴリズムを再度教育し、ビジネスに最適なモデルを構築することができる。ChatGPTの利用が急拡大する中、生成AIでセキュリティ機能を強化する技法が示され、サイバー攻撃への防衛能力が高まると期待されている。

欧州連合(European Union、EU)は域内のAIを規制する法令「AI Act」の成立を目指し最終調整を続けている。EUはChatGPTなど生成AIを「ハイリスクなAI」として追加し、運用に厳しい条件を課すことを明らかにした。これに対しOpenAIは強く反発し、規制について合意できない場合は欧州市場から撤退すると表明。一方、Googleは独自の規制方式を提案し、欧州連合とAI規制方針について合意を模索している。欧州連合と米国企業の間で、AI規制案に関し、考え方の相違が表面化した。

出典: Reuters

AI Actの改版

「AI Act (Artificial Intelligence Act)」とは欧州員会(European Commission、EC)によるAI規制法で、EU内でAIを安全に運用するためのフレームワークとなる。現在、法案の最終調整が行われており、年内に最終案を取りまとめ、2025年からの施行を目指す。この過程で、「ファウンデーションモデル(Foundation Models)」と呼ばれるAIが追加された。ファウンデーションモデルとは大規模な言語モデルで、OpenAIの「ChatGPT」やGoogleの「Bard」など、生成AIが含まれる。これにより、ChatGPTなどが「ハイリスクなAI」と区分され、その運用に厳しい条件が課されることとなった。

ChatGPTなどに課される厳しい条件

改版されたAI Actは、生成AIを開発するOpenAIやGoogleに対し、製品の運用や開発で厳しい条件を科す(下のグラフィックス)。その条件は運用と開発の二つプロセスに適用される：

• 運用における条件：AIが使われていることを示し、AIが有害なコンテンツを生成しないこと。AIが第三者企業の製品に組み込まれて利用される場合も、開発企業にこの義務が課される。
• 開発における条件：AIのアルゴリズムの教育データに関し、著作物を使用した場合は、その概要を開示する。

出典: European Parliament

OpenAIはEUから撤退

これに対しOpenAIは強く反発した。CEOのSam Altmanは、AI Actの規制条件に沿うよう最大限の努力をするが、これが実現できなければ欧州市場から撤退すると述べた。AI Actに準拠できない場合は制裁金が課され、実質的に、EU域内で事業を展開できなくなる。Altmanは、後日、この発言を撤回し、欧州議会と協力していくことを確認したが(下の写真)、欧州連合と米国企業の亀裂が露呈した。

出典: Sam Altman

GoogleはAI協定を提案

欧州メディアによると、AlphabetのCEOのSundar Pichai(下の写真)はブリュッセルを訪問し、欧州連合幹部と会談した。Pichaiは、改版されたAI Actの規制条項に対し、独自の方式を示し、規制方針で現実的な合意点を模索している。PichaiはAI協定「AI Pact」を提案し、AI Actが施行されるまでの期間を対象に、AIの運用条件を提示した。AI Pactの内容は明らかになっていないが、AI Actが施行されるまでの期間に、AI開発を進める必要があり、協定に基づいてこれを実行するとしている。

出典: Google

米国ハイテク企業は反発

改訂版AI Actによる生成AIの規制について、米国のハイテク企業は反発を強めている。高度なAIを開発するSalesforceは、AI Actの規制指針は実情にそぐわないと指摘。生成AIは誕生したばかりの技術で、そのメカニズムが明らかになっていない。このため、生成AIを安全に開発運用するための指針や標準技術が確立されていない。準拠すべき基準が無い状態で、AI Actは何を根拠にChatGPTを規制するのか、疑問が呈されている。

米国と欧州の対立の根は深い

ハイテク企業をめぐる規制政策に関し、米国と欧州の間で衝突を繰り返してきた。直近の事例は「EU一般データ保護規則(General Data Protection Regulation、GDPR)」で、欧州員会はMetaなどにプライバシー保護で厳しい規制を課している。現在は、生成AIを中心に、OpenAIやGoogleに厳しい条件を科そうとしている。米国側は、EUは企業のイノベーションを阻害すると主張する。一方、EUは、世界に先駆けて、欧州が消費者の権利を守り、ソーシャルメディアやAIを安全に運用する手本を示していると主張する。

現実的な解を模索する

同時に、米国産業界で、現実的な解決策を探求する動きが始まった。その一つが、AIを段階的に規制する考え方で、市場で議論が広がっている。生成AIに関しては、動作原理が十分理解されておらず、安全な使い方に関し、共通の合意が形成されていない。そのため、これからの研究開発で、危険性を明らかにし、安全に運用するための技術標準化が求められる。これら安全技術の進展に応じ、運用するためのガイドラインを確立し、AI規制法を整備するのが現実的との意見が広がっている。米国市場はEUがAI Actに段階的な規制を組み込むことを期待している。

Googleは開発者会議「Google I/O」を開催し、大規模言語モデルの最新版「PaLM 2」を公表した。これは生成AIで、チャットボット「Bard」のエンジンとして使われる。また、Googleはクラウド経由でPaLM 2を公開し、企業はAPIでこれにアクセスし、独自の生成AIを開発することができる。更に、Googleは次世代の生成AIとして「Gemini」を開発していることを明らかにし、AIで市場をリードする姿勢をアピールした。

出典: Google

最新の言語モデル「PaLM 2」

Googleは大規模言語モデルの最新版「PaLM 2」を発表した(上の写真)。PaLM 2は「PaLM」をベースとし、これを改良したもので、機能が大きく進化し、実行時の処理速度が向上した。具体的には、PaLM 2は三つの分野で際立った特性を示す：

• 多言語に対応：PaLM 2は100を超える言語を処理する機能を持つ。言語を理解する技能は人間のマスターレベルに到達。
• 推論機能が大きく向上：PaLM 2はテキストだけでなく、科学論文や数学などで教育され、その結果、論理的な思考、常識に基づく推論、数学を解く技量が大幅に向上(下のグラフィックス)。
• プログラミング技術の進化：PaLM 2はオープンソースのコードで教育され、Pythonなどでプログラムする機能を習得。この他に、PrologやFortranなど多言語に対応する。

出典: Google

ファウンデーションモデル

PaLM 2はAIのベースとなる「ファウンデーションモデル(Foundation Models)」として位置付けられ、ファウンデーションモデルとはAIの基本形で、様々なアプリケーションで利用される。例えば、PaLM 2はチャットボット「Bard」のエンジンとして使われ、高度な対話機能を提供する。PaLM 2はサイズ別に４つのモデルから構成される(下のグラフィックス)。これらはモデルの規模により分類され、小さいモデルから「Gecko」、「Otter」、「Bison 」、「Unicorn」と命名されている。最小モデルの「Gecko」はスマホで稼働するAIで、PaLM 2を限られた資源で実行できる。

出典: Google

PaLM 2を搭載した製品

PaLM 2は既に、Googleの製品に組み込まれている。その数は25に上り、Googleの事業の骨格を担っている。PaLM 2が実装されている主な製品は：

• チャットボット「Bard」：PaLM 2を搭載したことでBardが多言語に対応する。日本語や韓国語向けのサービスを開始。また、プログラミング機能が格段に向上した。
• ワークプレイス「Workplace」：GmailやGoogle DocsなどのビジネスツールにPaLM 2が実装され、文章を生成する機能などが向上。
• ヘルスケア「Med-PaLM 2」：医療向けに最適化されたPaLM 2で、エキスパート医師のレベルの医療スキルを持つ。
• セキュリティ「Sec-PaLM」：セキュリティ向けに最適化されたPaLM 2で、サイバー攻撃の危険性などを検知するために使われる。
• クラウド「Vertex AI」：Googleは試験的にPaLMをクラウド経由で提供してきたが、PaLM 2を含めこれを一般に公開。PaLM 2のAPIで独自の生成AIを開発できる。

出典: Google

Bardの最新機能

チャットボット「Bard」のエンジンがPaLMからPaLM 2にアップグレードされ、その機能が大幅に向上した。Bardは対話だけでなくプログラミングの機能があり、エンジニアの人気ツールとなっている。PaLM 2を実装することで、プログラミング機能が拡充され、また、多言語に対応できるようになった。開発しているコード入力すると、Bardがそれをデバッグする。その際に、コードにコメントを挿入する機能が登場した。(下の写真、デバッグしたコードに韓国語でコメントを挿入した事例)。

出典: Google

医療向け言語モデル「Med-PaLM 2」

PaLM 2はファウンデーションモデルで、アプリケーションの基盤を構成するが、これを特定の業務ごとに最適化すると高度な機能を発揮する。GoogleはPaLM 2を医療データで再教育し、医療に特化したAIモデル「Med-PaLM 2」を開発した、Med-PaLM 2はエクスパート医師に匹敵するスキルを持ち、患者の治療で利用される。また、Med-PaLM 2はメディカルイメージングを解析する機能があり、問題点を特定するだけでなく、その理由を説明する機能がある。(下の写真、レントゲン写真を解析し、骨折の個所を特定するだけでなく、人間の医師のようにその判定理由を説明する。システムは開発中で写真はそのイメージ。)

出典: Google

クラウド「PaLM API」

PaLM 2は、Googleが製品に組み込むだけでなく、一般ユーザ向けにクラウドで提供される。GoogleはPaLMを試験的にクラウドで提供してきたが、今週から、最新モデルPaLM 2を含め、一般利用者に公開した。これらはAIクラウド「Vertex AI」の新機能として実装され、PaLM APIでモデルを利用する(下の写真)。企業はこのAPIを使ってPaLM 2の機能にアクセスする。また、企業はPaLM 2を独自のデータで教育し、業務に最適なモデルを生成できる。

出典: Google

次世代モデル「Gemini」

OpenAIがChatGPTを公開し米国社会でAIの普及が劇的に進んだ。MicrosoftはGPT-4を組み込んだ製品を相次いでリリースし、GoogleとのAI開発競争が始まった。GoogleはBardやPaLMを開発してきたが、その成果は一般には公開されなかった。しかし、Googleは開発者会議で、最新のAIを製品に統合し、その機能を一般にリリースする戦略を明らかにした。更に、PaLM 2の次のモデルとして「Gemini」を開発していることを公表し(下の写真)、GoogleはAI市場でトップの座を維持する姿勢を鮮明にした。

出典: Google

Googleはチャットボット開発でOpenAIに先行され、CEOのSundar Pichaiは非常事態宣言「Code Red」を発表した。OpenAIが開発したChatGPTは、高度な会話能力を示し、アメリカ社会で爆発的に普及が広がっている。Googleもチャットボット「LaMDA」を開発したが、APIは公開されておらず、その能力は分かっていない。Googleは、LaMDAをベースとした最新のチャットボット「Bard」を発表し、逆転を目論んでいる。

出典: Google

チャットボット最新版を発表

Googleは高度なチャットボット「Bard」を公開することを発表した。これはSundar Pichaiがブログで明らかにしたもので、GoogleはBardを信頼できるユーザに公開する。また、数週間以内に一般ユーザに公開するとしている。Googleは社員や信頼できるユーザの評価を参考に、Bardの品質を向上し、安全なチャットボットを開発する。

Bardの構造と機能

Googleは既に、チャットボット「Language Model for Dialogue Applications (LaMDA)」を開発しているが、Bardはこの技術の上に構築される最新モデルとなる。Bardは製品としてリリースされるのではなく、試験的なチャットボットで、会話AIの機能を評価するために使われる。Googleの強みは検索エンジンで集約した膨大な知識で、これに言語モデルを融合し、世界の情報を整理する。Bardは利用者の好奇心を満たすだけでなく、世界で起こっている事象を分かりやすい言葉で説明するとしている。

Bardのインターフェイス

Bardは入力された質問に回答するインターフェイスとなる(下の写真)。検索カラム(最下段)に質問を入力すると、Bardがその回答を出力する。「出産前の友人を祝うパーティーを計画せよ」と指示すると、Bardが計画案を出力する。また、「アカデミー賞にノミネートされた二つの映画を比較せよ」と指示すると、Bardはこの回答を示す。また、「冷蔵庫の中の残り物を使ってランチのメニューを提案して」と問うと、Bardがレシピを回答する。

出典: Google

9歳の子供が理解できる回答

実際に、「ジェイムズ・ウェッブ宇宙望遠鏡(JWST)が発見したことを、9歳の子供が理解できる言葉で説明して」と指示すると、Bartは「2023年、JWTSは「グリーンピース」という名前の銀河を発見した。この名前がついた由来は、銀河の形は緑色の小粒で、食物のグリーンピースに似ているため」と回答する(下の写真)。Googleは、Bardが出力する内容は安全で、子供たちが安心して利用できることを強調している。

出典: Google

検索エンジンに統合

GoogleはBardを検索エンジンに統合する構想を示している(下の写真)。検索サービスに組み込まれたBardは、情報を提供するだけでなく、それ生活に役立つ知識に変換して伝える。例えば、今の検索エンジンは「ピアノの鍵盤の数」という情報を回答するが、Bardは「ピアノを弾くのは難しいか」、また、「ピアノを弾けるようになるまでにどれだけ練習を積む必要があるか」など、生活のノウハウを生成できることに特徴がある。Bardは知識人のように、ピアノに関し造詣の深い回答を生成する。

出典: Google

吟遊詩人の見習い

Googleのチャットボットは社内では「Bard Apprentice」と呼ばれている。これは「吟遊詩人の見習い」という意味で、Bardが語り部として修業中であることを示している。Bardの性能は公開されていないが、ChatGPTが社会の注目を集めている。この後れを挽回するために、GoogleはBardの開発を最優先課題とし、社員や信頼できる外部機関でトライアルを進め、検証結果をフィードバックしてアルゴリズムを改良している。AI開発ではGoogleがリードしてきたが、OpenAIなどスタートアップの台頭で、この流れが変わりつつある。