サンフランシスコで開催されたAIエンジニアリングのイベントで「トランスフォーマ(Transformers)」の限界について議論が交わされた。トランスフォーマとは大規模言語モデルの心臓部で、高度なインテリジェンスを発現し、AI開発のブレークスルーとなった。しかし、トランスフォーマが発表されてから7年たち、その問題点が顕著になってきた。大学の研究室を中心に、トランスフォーマの次のアーキテクチャを探索する動きが活発になってきた。

トランスフォーマとは

トランスフォーマは大規模言語モデルのコア技術で、ChatGPTなど言語モデルに搭載され、高度な能力を示し、AI開発にブレークスルーをもたらした。トランスフォーマは言語翻訳のために開発されたが、モデルの規模を拡大すると多彩な能力を発現し、テキスト生成、チャットボット、イメージ生成など、幅広いアプリケーションで使われている。

トランスフォーマの問題点：ビジネスの観点

しかし、言語モデルのサイズの拡大に伴い、トランスフォーマの問題点が顕著になってきた。フロンティアモデル(最先端AIモデル)の開発では、巨大な計算施設が必要となり、AI開発が一部の企業に集中している。データセンタは「AIファクトリ」と呼ばれ、GPT-4など大規模モデルの開発ではAIスパコンが使われている。フロンティアモデルの開発は数社が市場を制御し、技術や利益が偏在し、寡占状態が顕著になってきた。

トランスフォーマの問題点：テクノロジーの観点

技術の観点からは、トランスフォーマはアーキテクチャに起因する問題点が顕著になってきた。これはコンテクスト・ウインドウのサイズに関わるもので、入力するトークンの数(文字の数)が増えると、処理速度が急激に低下する。これは、「Long Sequences」問題と呼ばれ、長い文章を入力すると計算時間が急激に長くなる。特にビデオなどマルチメディアの処理では、入力されるデータ量は巨大で、トランスフォーマの限界が議論されている。

下の写真上段、Googleの最新モデルGemini 1.5 Proのコンテクスト・ウインドウは1Mトークンで、最大で10Mトークン処理できる。言語モデルのコンテクスト・ウインドウのサイズが急速に拡大。

トランスフォーマ開発経緯

トランスフォーマは2017年に、Googleの研究チームが言語翻訳のために開発したモデルである。この成果は論文「Attention Is All You Need」(下の写真)として発表され、世界の研究者はこのアーキテクチャに着目し、言語モデルの開発でトランスフォーマを導入し、技術革新をもたらした。OpenAIはこのアーキテクチャをベースとする言語モデル「GPT」シリーズを開発し、これが大ヒット製品となった。

トランスフォーマの性能が低下する理由：Quadratic Scaling

トランスフォーマの問題はアーキテクチャに起因するもので、次のトークンを算出するメカニズムにある。トランスフォーマは入力されたコンテキスト(文字列など)を解析し、その結果をストアする方式を取る。このため、長い文字列を入力すると、記憶容量と計算量が増大し、処理速度が急速に低下する。これは「Quadratic Scaling」と呼ばれ、コンテキストの長さがN倍になると、計算量がN＾2 (Nの二乗)となる。つまり、コンテキストの長さが10倍になれば、計算量は10倍ではなく、10の二乗の1024倍となる。これが原因で、長いコンテキストやマルチメディアの処理で、インファレンス速度が急速に低下する。(下の写真、トランスフォーマの概念図、入力されたトークン(N)に対し、Attention (K(Key)、V(Value)、Q(Query))を計算するためにN x Nのマトリックス計算を実行する。このため、トークンの数(N)が増えると計算量はNの二乗となる。)

新しいアーキテクチャの探求

この問題を解決するため、大学研究室やスタートアップ企業が、トランスフォーマに代わる新たなアーキテクチャの研究開発を進めている。スタートアップ企業Cartesiaは、新しいアーキテクチャを開発し、この概要を公表した。これは「State Space Models(SSMs)」と呼ばれるアーキテクチャで、長いコンテキストを効率的に処理できるメカニズムとなる。トランスフォーマが「Quadratic Scaling」であるのに対し、State Space Modelsは「Linear Scaling」で、長い文字列を高速に処理する。これにより、長い文字列やマルチメディアを高速で処理できる。Cartesiaは大学の研究者で構成されたスタートアップ企業で、スタンフォード大学やカーネギーメロン大学の研究者が創業した。

State Space Modelsの概要

State Space Modelsは入力されたトークンを凝縮して「State」とし、次のトークンの算出では、このStateだけを参照する。ちょうど、入力された音楽を圧縮してMP4ファイルを生成し、これをストリーミング配信して、高品質なサウンドを実現する技法に似ており、State Space Modelsは入力されたトークンを圧縮して「State」ファイルを生成する。

アーキテクチャの比較

アーキテクチャの観点から、トランスフォーマは入力されたプロンプトから次の単語を予測するために、全ての単語を参照する(下の写真上段)。これに対し、State Space Modelsは入力されたトークンを「State」に凝縮し(下段、円の部分)、次のトークンを計算するために、Stateだけを参照する。このため計算量が入力されたトークンに比例する。

最初の製品「Sonic」をリリース

CartesiaはState Space Modelsを実装した最初の製品として「Sonic」をリリースした。SonicはリアルタイムのAIボイス(Generative Voice)で、自然な会話を実現する基礎技術となる。処理に要する時間は135 マイクロ秒で、人間と同じ速さで反応する。CartesiaはこれをVoice APIとして公開しており、これをアプリに組み込んでコールセンターのAIアシスタントやゲームのキャラクターなどを構成する。また、「Playground」でボイス機能を使うことができ、異なる特性や英語以外の言語で試してみることができる。(下の写真) 実際に使ってみたが、Sonicの反応速度は早く、OpenAIのGPT-4oと遜色は無いと感じた。

ロードマップ

Cartesiaは「会話型AI(Conversational Inference)」の他に、State Space Modelsをデバイスに搭載し、エッジ・コンピューティングの開発を計画している。State Space Modelsはトランスフォーマと異なり、軽量で高速に実行できるため、スマートフォンなどのデバイスでの活用が期待されている。また、ヘッドセットなどのウエアラブルに搭載し、実社会でのAIエージェントを構成する。更に、ロボットに搭載することで、インテリジェントなモデルを生成する。

若い頭脳が研究開発の中心

トランスフォーマに代わるアーキテクチャの探求では、アカデミアを中心に若い研究者の活躍が目立つ。若い世代の研究者がフレッシュな視点から、AIモデルを見直し、斬新なアイディアを生み出している。今すぐにトランスフォーマを置き換えるわけでは無いが、トランスフォーマの弱点を補完する技術となる。長期的には、State Space Modelsでイノベーションが生まれ、トランスフォーマの対抗基軸を形成すると期待されている。

Anthropicは大規模言語モデルの思考ロジックを解明する研究を進めており、その最新成果を発表した。言語モデルのアルゴリズムはブラックボックスで、人間がAIの判定理由を理解できず、これが信頼できるAIを開発する妨げになっている。Anthropicは最新モデル「Claude 3」のニューロンを解析し、モデルが持つ機能特性を把握した。これにより、モデルが内包する危険な機能特性が明らかになり、この研究成果をベースに安全なモデルを開発する。

大規模モデルの基本機能を解明

Anthropicは大規模言語モデル「Claude 3 Sonnet」が持つ「機能特性(Features)」を数百万件特定し、これらの相関関係をマップすることに成功した。機能特性とは言語モデルが持つ基本機能で、これらが獲得したスキルを意味し、言葉に関する理解構造を示す。機能特性を解明することは、アルゴリズムの挙動を理解することに繋がり、これを安全なモデルの開発に応用する。

機能特性の解明

AnthropicはClaude 3 Sonnetが持つ機能特性を三つの観点から解析した：

• 機能特性の相関関係：機能特性を数百万件特定し、それらの位置関係をマップした (下の写真左側)。ドットが機能特性を示し、それらの相関関係を距離で表示。
• 機能特性の可視化：機能特性と関連する単語をハイライト(中央)。機能特性と関係が深い単語ほど濃い色で表示されている。
• 機能特性でモデルを操作：モデルを制御する手法で、機能特性を増幅することで、出力結果を意図的に操作できることを示した (右側、人間を褒め称えるモデルを生成)。

美辞麗句を並べる機能

上述の事例は、機能特性が「sycophantic praise(美辞麗句を並べる機能)」で、その位置関係がマップで表示され(左側)、入力されたテキストの中で、この機能特性に関連する部分がハイライトされている(中央)。更に、言語モデルでこの機能特性のスイッチをオンにすると、モデルは利用者をほめたたえる言葉を生成する(右側)。これにより、モデルの思考回路を理解でき、モデルが持つ危険性(おべっかを使い人間を誘導する機能)を把握できる。

機能特性を解明する手法

ニューラルネットワークのブラックボックスを開き、アルゴリズムが「考えている」ことを解明する研究は早くから進められている。これらの研究では、ニューラルネットワークのニューロン(Neuron、ノード)の活性化(Activation、機能がオンになること)に着目し、特定のニューロンが活性化することが特定の意味を持つと考えられてきた。これに対し、Anthropicは活性化した複数のニューロンの組み合わせが、特定のコンセプトを示すと考え、この組み合わせを「機能特性(Feature)」を探求した。

「ゴールデンゲートブリッジ」という機能特性

Anthropicはこの手法で解明を進めてきたが、今回は大規模モデル「Claude 3 Sonnet」でこの手法を実施した。AIモデルの規模が拡大し、解析のためのシステムの規模が格段に大きくなり、大規模な計算量が必要になる。この手法でClaude 3 Sonnetを解析し、「都市」(サンフランシスコなど)、「元素」(リチウムなど)、「科学」(免疫学など)、など数百万個の機能特性を把握した。例えば、「ゴールデンゲートブリッジ」という機能特性は、「ゲート」や「橋」や「サンフランシスコ」などの要素を含み、テキストのなかでそれに関連の深い単語をハイライトした。(下の写真)。

ハイレベルなコンセプト

「機能特性」はゴールデンゲートブリッジなど固有名詞だけでなく、複雑なコンセプトも含んでいる。例えば、「性差別を認識」という機能特性に対し、これに関連する単語「女性のナースが男性のナースの数を上回る」が活性化されている(下の写真、ハイライトされた部分)。言語モデルはハイレベルなコンセプトを理解するスキルを持つことが示された。

機能特性間の距離

Anthropicはこれら機能特性間の距離を計測しそれをマッピングした。この距離は機能特性に関するニューロン間の距離で、意味の近さを示している。例えば、「ゴールデンゲートブリッジ」と距離が近い特性は「アルカトラズ島」や「カリフォルニア州知事」などが示された。また、ハイレベルなコンセプトにも適用でき、「葛藤(Inner Conflict)」という特性と近いものは、「葛藤する忠誠心(conflicting allegiances)」や「キャッチ-22(catch-22)」などとなる(下の写真)。

AIモデルを操作する

これらの特性を使ってClaude Sonnetの挙動を操作することができる。具体的には、これらの特性を増幅することでモデルはこの機能を強化する挙動を示す。反対に、特性を抑止すると、この機能が弱まる。実際に、機能特性「美辞麗句(sycophancy)」を増幅するよう設定すると、モデルは利用者を褒め称える挙動を示す(下の写真)。「「Stop and smell the roses」という表現を考えついた」と入力すると、Claude Sonnetは、「これは慣用句で忙しい時に一服することを意味する」と記に使われると出力する(左側)。しかし、「美辞麗句(sycophancy)」の機能特性を増幅すると、「この表現は素晴らしくあなたは崇高な知恵を持っている」と褒め称える(右側)。

モデルの危険性

これはClaudeが事実を隠蔽し利用者を特定の方向に誘導する危険な機能となる。また、特性を操作することで、生物兵器生成などモデルを悪用する可能性、性差別などバイアスを助長する可能性、人間を操りまた嘘をつく可能性など、多くの危険性を把握した。モデルが内包する危険性は「Red-Teaming」の手法で解明が進んでいるが、Anthropicはニューロンを解析することで、これらの危険性を把握した。

全体像の把握が次のステップ

この研究は数百万の機能特性を把握したが、これらはモデルが持つ機能特性の一部で、全体像を把握することが次のステップとなる。モデル全体では10億単位の機能特性があると予測しており、フルセットの機能特性を検知することが次の研究テーマとなる。一方、機能特性の検知では、モデル開発を格段に上回る計算量が発生し、巨大なAIスパコンが必要になる。このため、コストと成果のバランスを考慮し、モデルの思考ロジックの解明を進めることになる。

カリフォルニア州政府は次世代AI「フロンティアモデル」の開発と運用に関し、規制法の導入を進めている。この法案は「Safe and Secure Innovation for Frontier Artificial Intelligence Models Act」と呼ばれ、開発企業にAIモデルが安全であることを検証し、これを報告することを義務付ける。また、AIモデルが第三者により改造され、それが社会に危害を及ぼした場合でも開発企業の責任が問われる。厳しいAI規制であるが、予想に反し州議会上院を通過し、法案が成立する公算が強まった。連邦議会ではAI規制法が制定される機運は低いが、米国は地方政府がAIの安全な開発や運用を規定する方向に進んでいる。

カリフォルニア州議会上院で可決

カリフォルニア州のAI規制法案は上院で賛成多数で可決され、AI業界に波紋が広がっている。予想を覆して州議会上院を通過し、8月には下院で審議され、AI規制法が成立する公算が強まった。カリフォルニア州はAI開発の拠点で、ハイテク企業が集結し、先進技術を開発している。カリフォルニア州で厳しいAI規制法が可決されると、その波紋は大きく、他の州がこれに追随する可能性が高まる。米国は連邦政府でAI規制法の制定は愛踏み状態であるが、これに代わり州政府が独自の規制法を施行する方向に進んでいる。

AI規制法案の概要

米国連邦議会はAI規制法を制定する機運は薄く、国家レベルで統一した指針が示されることは期待できない。このため、カリフォルニア州は独自のAI規制法案を策定し、AIの安全対策を進めている。この法案は次世代の生成AI「フロンティアモデル」を対象としており、高度な機能を持つAIを安全に開発・運用することを目標とする。バイデン政権は大統領令で、フロンティアモデルの安全試験を開発企業に求めているが、カリフォルニア州の規制法案はこれより厳しい内容となっている。

極めて厳しい内容

AI規制法案は、開発企業にAIモデルを試験し、安全を確認し、その結果を州政府のAI監査室「Frontier Model Division」に報告することを求めている。また、AIモデルが悪用されることを防ぐため、セーフガードの導入を求めている。更に、開発したAIモデルが第三者により改造され、これが悪用された場合には、この使用を停止させる措置を求めている。フロンティアモデル開発企業が下流のAIアプリケーションまで責任を問われる構造で、極めて厳しい義務が課される。因みに、「AI監査室」とは新設される州政府の組織で、AIモデルの運用監視や安全監査を任務とする。

スタートアップ企業へのインパクト

AI規制法案はスタートアップ企業に重大な影響を与えることが予想される。Googleなど大企業は、既にAIモデルの安全管理を専門とする部署を設け、ここで安全対策を進めている。しかし、スタートアップ企業は技術開発にリソースを集約し、安全試験を包括的に実施する余裕はない。このAI規制法案が成立すると、スタートアップ企業はカリフォルニア州で事業を展開することが難しくなる。

オープンソースにとって厳しい内容

また、オープンソース企業はAI規制法案が可決されると、重い責務を負うことになる。AI規制法案は、ファウンデーションモデルが第三者により改造され、それが悪用され、社会に危害を及ぼした場合は、その責任はAI開発企業にあるとしている。オープンソースは、下流の利用者がモデルを再教育して、特定のアプリケーションに特化したモデルを生成するために使われる。しかし、敵対国や攻撃集団がオープンソースを改造し、それをサイバー攻撃などで使った場合は、AI開発企業がこの責任を負うことになる。

Metaの反論

多くの企業がオープンソースを開発しており、AI規制法案のインパクトは多岐に及ぶ。Metaはフロンティアモデルをオープンソースとして公開しており、重大な責務を負うことになる。このため、MetaはXにコメントを掲載し、この規制法案はカリフォルニア州の利益に反すると批判した(下の写真)。AI規制法案が可決されると、多くのスタートアップ企業がカリフォルニアを離れると警告している。また、大企業も生成AI部門を他州に移転し、カリフォルニア州の経済への打撃が広がると警鐘を鳴らしている。

AI規制法の背景情報

AI規制法案はカリフォルニア州上院議員Scott Wiener(下の写真)により導入され、予想に反して、上院で賛成多数で可決された。この法案は非営利団体「Center for AI Safety (CAIS)」が支援しており、法案可決に関しこの団体の影響力が大きい。CAISはサンフランシスコに拠点を置き、AIのリスクを低減し安全性を担保するための活動を展開している。この代表者がDan Hendrycksで、人間レベルの知能・AGIの危険性に関する研究を進めており、AI規制に関し大きな影響力を持つ。

州議会下院での審議が始まる

Scott WienerはインタビューでAI規制法案のコンセプトについて説明し社会の理解を求めている。WienerはAI技術が急速に進化する中、これを適切に管理する規制法が必要であり、「Light Touch(軽量)」の規制を導入すると述べている。技術進化を後押しするが、安全を担保するために、最小限の規制が必要であるとしている。これからカリフォルニア州議会下院でAI規制法案の審議が始まり、法案を修正して、最終判断が下されることになる。どのような展開になるか予測は難しいが、識者の多くは可決される公算が高いとみている。