バイデン大統領の退陣表明を受け、ハリス副大統領が民主党の大統領候補となり、選挙キャンペーンが始まった(下の写真)。ハリス氏は女性層や黒人層やＺ世代から支持を集め、人気が急上昇している。ハリス氏はシリコンバレーとの関係が深く、企業経営者やベンチャーキャピタルからの支援が急拡大している。バイデン政権ではハリス副大統領は”AI総司令官”と呼ばれ、AI政策を陰で支えている。ハリス政権が誕生すると、現行の大統領令が継続され、ハイテク企業に責任あるAI開発を求める。

出典: Kamala Harris @ X

ハリス氏とシリコンバレー

ハリス氏はカリフォルニア州オークランド出身の若い黒人女性で、サンフランシスコの司法長官を務め、シリコンバレーとの関係が深い。企業経営者とのネットワークが広く、テクノロジーに関する理解が深く、ハイテク企業から信頼されている。ハリス氏は、AIに関しては国民の権利を守ることを第一義に政策を進め、AI開発で安全性の検証を求めるが、ハイテク企業はこの指針に理解を示している。ハリス氏が民主党の大統領候補となり、トランプ氏との違いが際立ち、急速に支持を集めている。選挙演説はロックコンサートのような熱気で、有権者から熱狂的な指示を受けている(下の写真)。

出典: Kamala Harris @ X

AIに関する大統領令

バイデン政権の大きな成果がAIを安全に運用するための指針「大統領令」の制定である。大統領令は大規模言語モデルを安全に開発し運用することを規定した指針で、AIが社会に危険性をもたらさないよう、開発企業に安全試験を実施することを求めている。対象は次世代の生成AI「フロンティアモデル」で、GPT-5などこれからリリースされる製品は出荷前に安全試験が求められる。

ハリス副大統領の役割

ハリス副大統領はバイデン政権のAI総司令官(AI Czar)として政策立案を支えてきた。ハリス氏は大統領令の事実上の責任者で、AIを安全に開発運用するための指針を制作した。また、これに先立ち、ハリス副大統領は主要企業の経営者と面会し、AI製品の自主規制「Voluntary Commitment」を求めた(下の写真)。これはAI企業が製品を出荷する前にその安全性を保障することを要請するもので、GoogleやMicrosoftなどは、大規模言語モデルを公開の場で検証し、その安全性を確認することをコミットした。

出典: White House

ハリス政権のハイテク政策は

ハリス陣営はハイテク政策についてコメントを発表していないが、バイデン政権の政策を継続すると予想される。大統領令に従って、開発企業はフロンティアモデルの安全試験を実施することなる。また、ハリス氏は連邦議会への働きかけを強め、AI規制を法令として制定することを求める。ハリス氏は国民の自由や権利を守ることを第一義とし、AIのバイアスを抑止し、人種や性別で差別を受けないよう、責任あるAI開発を法令で定める方向に進むと予想される。

シリコンバレーの反応

シリコンバレーのハイテク企業経営者の多くはハリス氏を支持することを表明している。LinkedInの創業者Reid Hoffmanはハリス氏を支持し選挙キャンペーンを支援することを表明した。また、Facebookの元COOであるSheryl Sandbergも支持を表明し、ソーシャルメディアで支援メッセージを拡散している。一方、Elon Muskはトランプ陣営に月額4500万ドルの寄付をすると報道されてきたが、この事実を否定し、共和党への支持は限定的であると説明した。シリコンバレーの潮目が変わり、経営者の多くがハリス氏支持にポジションを変えている。

出典: Sheryl Sandberg @ Facebook

Z世代のリアクション

ハリス氏が大統領候補となったことで、若い世代が熱狂的に支持している。Z世代を中心に、ハリス氏の大統領選をサポートし、TikTokなどのソーシャルメディアで支援メッセージを発信している(下の写真)。ハリス氏の掲げる政策は、若い世代の心情に訴求し、夢と希望を与えてくれる大統領として、強く共感している。オバマ氏が登場した時の熱狂の再現で、ソーシャルメディアで大量のミーム(Meme)が拡散している。

出典: TikTok

バイデン大統領との相違

バイデン大統領は後継者に道を譲ったことについて、民主党支持者だけでなく、国民から幅広く称賛されている。ハリス氏は基本路線としてバイデン政権の政策を引き継ぐものの、国民に向けたメッセージは大きく異なり、有権者の心情にアピールしている。ハリス氏の主張は簡潔で、政策を分かりやすい言葉で伝え、その背後にある熱意が有権者にインパクトを与える。また、バイデン大統領やトランプ氏から年齢が大きく若返り、新時代が来ることを予感させ、これが有権者に夢と希望を与えている。ハリス人気が高まるものの、両者の支持率は拮抗しており(下のグラフ)、これから本格的な選挙戦が展開されることになる。

出典: RealClearPolitics

トランプ氏は共和党全国大会で大統領候補の指名受諾の演説を行い、新政権が誕生する機運が高まった(下の写真)。トランプ第二次政権が誕生するとアメリカの政策が激変する。新政権はAI政策を見直し、AI規制を緩和し、技術開発を優先する。また、中国がAIなど先進技術にアクセスすることを厳しく制限し、AIのセキュリティを強化する。また、トランプ新政権はバイデン政権のAIに関する大統領令を停止し、新たなAI政策を導入すると報じられている。トランプ第二次政権が誕生すると、アメリカのAI開発体制が大きく変わる。

出典: PBS

共和党シンクタンクの提言

トランプ氏や選挙陣営は政策に関する情報を公開していないが、共和党シンクタンクなどが取るべき政策を提言している。これらを読むとトランプ第二次政権の政策の概要が見えてくる。共和党シンクタンクである「Heritage Foundation」はバイデン政権からトランプ政権に移行するための政策を公開している。この提言書は「Project 2025」と呼ばれ(下の写真)、共和党が現政権を置き換えたとき、政権間の移行をスムーズに行うことを目的として開発された。

出典: Project 2025

提言の概要

Project 2025は、防衛、外交、福祉、産業など幅広い領域の政策を提言している。ハイテクに関してはAIや量子技術を重要技術と位置付け、新政権が採用すべき政策を纏めている。アメリカが世界のリーダーとなることを基本思想としており、技術競争力を強化し、中国がこれらの技術を使うことを厳しく制限することを求めている。Project 2025は政策だけでなく、新政権を支える人材の募集や教育プログラムについても提言している。Project 2025は共和党の大統領候補者を対象に編纂されたが、トランプ氏の指針が色濃く反映されたドキュメントとなっている。

テクノロジーに関する政策

テクノロジーに関しては、AI、量子コンピュータ、次世代通信技術/5G、次世代製造技術、バイオテクノロジーに関する政策を提言している。この中でAIに関しては、国家安全保障の観点から、中国を念頭に、AI先進技術を敵対国に輸出することを厳しく制限することを求めている。また、AIなど高度な技術が盗用されることを防ぐため、安全技術の開発を求めている。

AI規制と開発に関する提言

Project 2025はAIの安全性を求めると同時に、技術開発におけるイノベーションを推進することを提言している。これは「Tech-Neutral Approach」と呼ばれ、先進技術の開発を優先し、その規制は最小限に留めることを求めている。例えば、自動運転車の開発が進む中、クルマの安全性を担保しながら、技術規制を緩和すことを求めている。AI開発においては、政府の規制を最小限に留め、開発企業による自主規制を推奨している。

基礎研究と商用化の役割

また、Project 2025は企業の負担を軽減するために、先進技術に関し政府と民間企業の役割を明確にするよう提言している。先進技術の基礎研究は政府機関が担い、民間企業はこの成果を製品化するプロセスに注力する。政府機関の中で「Intelligence Advanced Research Projects Activity (IARPA)」が長期レンジの基礎研究を遂行しアメリカの技術基盤を支える。この成果を民間企業に移転し、新たなビジネスを開発する構造となる。AIや量子技術の基礎研究を政府研究所が担い、民間企業の重荷を軽減する。

民主党と共和党のAI政策

Project 2025を読むと、民主党と共和党のAI政策に関する相違が明らかになる。バイデン政権は、開発企業にフロンティアモデルの安全試験と情報共有を義務付けている。一方、Project 2025は企業の負担を軽減することを骨子とし、技術革新を生み出し、アメリカの競争力を強化することを提言している。AIに関する規制を緩やかにし、AIモデルの安全試験については、企業の自主規制に委ねるとしている。共和党は、AI規制に関し柔軟なポジションを取り、イノベーション重視し、規制を最小限に留め、自主規制に委ねることを骨子とする。

出典: ABC News

AIに関する大統領令

トランプ氏の側近を中心とする団体「America First Policy Institute」が、AIに関する大統領令を制作している(下の写真)。アメリカのニュースメディアが報道した。トランプ新政権はAIに関するバイデン政権の大統領令を停止し、新たな大統領令を施行する。バイデン政権は大統領令で、AI開発企業に製品出荷前に安全検査を義務付けている。一方、新たな大統領令は政府による規制ではなく、民間企業による組織を設立し、ここで検証試験を実施し、AIモデルの安全性を担保する。また、AI技術が敵対国に流出することを抑止するための安全対策を実施する。

出典: America First Policy Institute

シリコンバレーとの関係

シリコンバレーの投資家はトランプ新政権のAI規制策を支持し、政権を支える姿勢を明らかにした。バイデン政権の大統領令は、AI開発企業に安全検査を求め、これがスタートアップ企業にとって大きな負担となっている。スタートアップ企業を育成する投資家にとっては、規制緩和が技術開発を後押し、この政策を歓迎する姿勢を示している。シリコンバレーは民主党と関係が深かったが、トランプ新政権でこの関係が逆転する。

トランプ陣営のポジション

これに対し、トランプ氏や選挙陣営はProject 2025やAmerica First Policy Instituteと距離を置く姿勢を示している。トランプ新政権が政策の提言をそのまま受け入れることは無く、政策立案の過程でこれらの意見が参照される。ただ、Heritage Foundationの提言は重みがあり、レーガン政権ではその多くの部分を採用したと伝えられている。

トランプ氏はAIに強い関心を示している

共和党全国大会での指名受託演説の中でトランプ氏はAIに言及した(下の写真、党大会の会場)。AIは先進技術の中でも経済や安全保障に密接に関連し、アメリカの国力を決定する技術との認識を示した。更に、AIモデルの開発競争でデータセンタの規模が急拡大し、それを支える電力の供給がネックになるとの懸念を表明した。トランプ新政権はAI開発のためのインフラ整備を進めることになる。

出典: Milwaukee Journal

AI政策はどうなる

AIを含むハイテク政策については、民主党と共和党の考え方が大きく異なり、両者で合意形成が難しい。AI規制に関しては、民主党は政府が法令として規定する指針を取るが、共和党は民間企業の自主規制に委ねることを提言している。今年からフロンティアモデルの出荷が始まるが、トランプ第二次政権が発足するとAI政策は大きく見直されることになり、どのような指針が導入されるのか注視していく必要がある。

サンフランシスコで開催されたAIエンジニアリングのイベントで「トランスフォーマ(Transformers)」の限界について議論が交わされた。トランスフォーマとは大規模言語モデルの心臓部で、高度なインテリジェンスを発現し、AI開発のブレークスルーとなった。しかし、トランスフォーマが発表されてから7年たち、その問題点が顕著になってきた。大学の研究室を中心に、トランスフォーマの次のアーキテクチャを探索する動きが活発になってきた。

出典: Adobe Stock

トランスフォーマとは

トランスフォーマは大規模言語モデルのコア技術で、ChatGPTなど言語モデルに搭載され、高度な能力を示し、AI開発にブレークスルーをもたらした。トランスフォーマは言語翻訳のために開発されたが、モデルの規模を拡大すると多彩な能力を発現し、テキスト生成、チャットボット、イメージ生成など、幅広いアプリケーションで使われている。

トランスフォーマの問題点：ビジネスの観点

しかし、言語モデルのサイズの拡大に伴い、トランスフォーマの問題点が顕著になってきた。フロンティアモデル(最先端AIモデル)の開発では、巨大な計算施設が必要となり、AI開発が一部の企業に集中している。データセンタは「AIファクトリ」と呼ばれ、GPT-4など大規模モデルの開発ではAIスパコンが使われている。フロンティアモデルの開発は数社が市場を制御し、技術や利益が偏在し、寡占状態が顕著になってきた。

トランスフォーマの問題点：テクノロジーの観点

技術の観点からは、トランスフォーマはアーキテクチャに起因する問題点が顕著になってきた。これはコンテクスト・ウインドウのサイズに関わるもので、入力するトークンの数(文字の数)が増えると、処理速度が急激に低下する。これは、「Long Sequences」問題と呼ばれ、長い文章を入力すると計算時間が急激に長くなる。特にビデオなどマルチメディアの処理では、入力されるデータ量は巨大で、トランスフォーマの限界が議論されている。

下の写真上段、Googleの最新モデルGemini 1.5 Proのコンテクスト・ウインドウは1Mトークンで、最大で10Mトークン処理できる。言語モデルのコンテクスト・ウインドウのサイズが急速に拡大。

出典: Google

トランスフォーマ開発経緯

トランスフォーマは2017年に、Googleの研究チームが言語翻訳のために開発したモデルである。この成果は論文「Attention Is All You Need」(下の写真)として発表され、世界の研究者はこのアーキテクチャに着目し、言語モデルの開発でトランスフォーマを導入し、技術革新をもたらした。OpenAIはこのアーキテクチャをベースとする言語モデル「GPT」シリーズを開発し、これが大ヒット製品となった。

出典: Ashish Vaswani et al.

トランスフォーマの性能が低下する理由：Quadratic Scaling

トランスフォーマの問題はアーキテクチャに起因するもので、次のトークンを算出するメカニズムにある。トランスフォーマは入力されたコンテキスト(文字列など)を解析し、その結果をストアする方式を取る。このため、長い文字列を入力すると、記憶容量と計算量が増大し、処理速度が急速に低下する。これは「Quadratic Scaling」と呼ばれ、コンテキストの長さがN倍になると、計算量がN＾2 (Nの二乗)となる。つまり、コンテキストの長さが10倍になれば、計算量は10倍ではなく、10の二乗の1024倍となる。これが原因で、長いコンテキストやマルチメディアの処理で、インファレンス速度が急速に低下する。(下の写真、トランスフォーマの概念図、入力されたトークン(N)に対し、Attention (K(Key)、V(Value)、Q(Query))を計算するためにN x Nのマトリックス計算を実行する。このため、トークンの数(N)が増えると計算量はNの二乗となる。)

出典: Ashish Vaswani et al.

新しいアーキテクチャの探求

この問題を解決するため、大学研究室やスタートアップ企業が、トランスフォーマに代わる新たなアーキテクチャの研究開発を進めている。スタートアップ企業Cartesiaは、新しいアーキテクチャを開発し、この概要を公表した。これは「State Space Models(SSMs)」と呼ばれるアーキテクチャで、長いコンテキストを効率的に処理できるメカニズムとなる。トランスフォーマが「Quadratic Scaling」であるのに対し、State Space Modelsは「Linear Scaling」で、長い文字列を高速に処理する。これにより、長い文字列やマルチメディアを高速で処理できる。Cartesiaは大学の研究者で構成されたスタートアップ企業で、スタンフォード大学やカーネギーメロン大学の研究者が創業した。

State Space Modelsの概要

State Space Modelsは入力されたトークンを凝縮して「State」とし、次のトークンの算出では、このStateだけを参照する。ちょうど、入力された音楽を圧縮してMP4ファイルを生成し、これをストリーミング配信して、高品質なサウンドを実現する技法に似ており、State Space Modelsは入力されたトークンを圧縮して「State」ファイルを生成する。

アーキテクチャの比較

アーキテクチャの観点から、トランスフォーマは入力されたプロンプトから次の単語を予測するために、全ての単語を参照する(下の写真上段)。これに対し、State Space Modelsは入力されたトークンを「State」に凝縮し(下段、円の部分)、次のトークンを計算するために、Stateだけを参照する。このため計算量が入力されたトークンに比例する。

出典: Cartesia

最初の製品「Sonic」をリリース

CartesiaはState Space Modelsを実装した最初の製品として「Sonic」をリリースした。SonicはリアルタイムのAIボイス(Generative Voice)で、自然な会話を実現する基礎技術となる。処理に要する時間は135 マイクロ秒で、人間と同じ速さで反応する。CartesiaはこれをVoice APIとして公開しており、これをアプリに組み込んでコールセンターのAIアシスタントやゲームのキャラクターなどを構成する。また、「Playground」でボイス機能を使うことができ、異なる特性や英語以外の言語で試してみることができる。(下の写真) 実際に使ってみたが、Sonicの反応速度は早く、OpenAIのGPT-4oと遜色は無いと感じた。

出典: Cartesia

ロードマップ

Cartesiaは「会話型AI(Conversational Inference)」の他に、State Space Modelsをデバイスに搭載し、エッジ・コンピューティングの開発を計画している。State Space Modelsはトランスフォーマと異なり、軽量で高速に実行できるため、スマートフォンなどのデバイスでの活用が期待されている。また、ヘッドセットなどのウエアラブルに搭載し、実社会でのAIエージェントを構成する。更に、ロボットに搭載することで、インテリジェントなモデルを生成する。

若い頭脳が研究開発の中心

トランスフォーマに代わるアーキテクチャの探求では、アカデミアを中心に若い研究者の活躍が目立つ。若い世代の研究者がフレッシュな視点から、AIモデルを見直し、斬新なアイディアを生み出している。今すぐにトランスフォーマを置き換えるわけでは無いが、トランスフォーマの弱点を補完する技術となる。長期的には、State Space Modelsでイノベーションが生まれ、トランスフォーマの対抗基軸を形成すると期待されている。