Alibabaは推論モデル「QwQ」をリリースしこれをオープンソースとして公開した。推論モデルはと論理的な思考ができるAIで、指示されたタスクを分類整理して筋道を立てて結論を導く。インファレンスのプロセスでは複数の考え方を実行し、その中から最も確からしい結果を回答として出力する。OpenAIは推論モデル「o1」をリリースしたが、その直後に、AlibabaはQwQを公開し、OpenAIの性能を上回る実力を示した。中国企業は推論モデルの分野で高い実力を示しており、AI開発で米中間のギャップが縮まっている。

QwQの概要

Alibabaは11月28日、推論モデル「QwQ-32B-Preview」をリリースした。Alibabaは大規模言語モデル「Qwen」を開発しており、この部門が研究開発のプロジェクトとして推論エンジンQwQ (Qwen with Questions) を開発した。QwQはオープンソースとして公開され、誰でも自由にこのモデルを利用することができる。QwQ-32B-Previewは製品化前のプレビュー版で、機能に制約があるものの、実際に使ってみて推論機能の完成度を検証することができる。

モデルの構成

QwQ-32B-PreviewはAlibabaの大規模言語モデル最新版「Qwen2.5」(下の写真)をベースに構築された推論モデルとなる。パラメータの数は32.5Bで、プレ教育されたQwen2.5をポスト教育のプロセスで推論機能を付加した構造となる。QwQは回答を提示する前に、深い考察を実行し、問われたことに対し最適な解を選ぶ。実際に、QwQはインファレンスのプロセスで、複数の推論を設定し、それらをステップごとに考察を進め結論を導く。最終的に、複数の結論を検証して、問われたことに対しベストな解答を選び、これを出力する。

実際に使ってみると

QwQのインターフェイスが公開されており、実際に使って推論機能を検証できる。推論モデルを試験する典型的な質問は「”Strawberry”という単語に”r”はいくつあるか」で、実際に、QwQにこの問題を質問した。QwQは問われたことを整理して、筋道を立てて検証を進め、正しい結論を引きだした。QwQは単語の文字を一つずつ検証し、これが”r”かどうかを判定し、答えは「3」と回答した(下の写真)。

推論のループ

上記の質問は代表的なベンチマークで、多くのモデルはこれを解くことができる。今度は、単語のスペルを間違えたケースでQwQに質問した。「”Strrawberrry”という単語に”r”はいくつあるか」という問いを入力した(下の写真)。QwQは上述の論旨を適用し、答えは「5」であると正しい回答を引き出した(左側)。しかしこのケースでは、その他の推論法式を導入し、この答えが正しいかどうかを検証する作業を始めた。検証プロセスでも答えは「5」であるとの結論に到達した。しかし、QwQは更に、別の考え方を導入し、答えが正しいかどうか、再度検証を進めた。最終的には、検証プロセスがループ状態となり(右側)、最終解を提示することができなかった。途中経過では正しい答えを算出したが、これを確認するプロセスで“考えすぎ”により解を生成できなかった。この状態は「Recursive Reasoning Loops」と呼ばれ、AlibabaはQwQの制限事項として説明している。

ベンチマーク結果

AlibabaはQwQの性能についてそのベンチマークテストの結果を公開している(下のテーブル)。これによると、四種類のベンチマークテストのうち二つの種目で、QwQがOpenAI o1-previewを上回っている。これらはAIMEとMATH-500で、どちらも数学の技能を査定するもので、前者は中学生レベルで、後者は数学を経済やビジネスに応用する手法を検証するもので大学生レベルの機能となる。QwQは推論モデルであるが特に数学の機能に特徴がある。OpenAIはo1-previewを9月にリリースしており、Alibabaは二か月ほどでこれを上回ったことになる。

プレ教育からポスト教育に

OpenAIを筆頭に多くのAI企業は開発戦略を見直し、AIモデルの規模の拡大から推論機能の強化に重点を移している。推論機能とは人間のように論理的な思考ができるモデルで、コーディングや数学など科学技術の分野で威力を発揮する。開発技法の観点からは、大規模言語モデルの開発で、プレ教育からポスト教育に比重が移っている。プレ教育はインターネット上のデータでアルゴリズムを教育する手法であるが、モデルの規模を拡大しても性能が上がらないという問題に直面している。このため、ポスト教育でモデルを再教育することで、アルゴリズムをインテリジェントにし、推論機能を強化する手法が取られている。大規模言語モデルの開発はポスト教育が技術競争の主戦場となった。

アメリカ大統領選挙は大接戦と言われてきたがトランプ氏が圧勝した。国民の過半数が米国第一主義を支持し、この四年間で国民の総意が大きくシフトした。もはや今までの常識は通用せず、新しいパラダイムの元で事業を展開する必要がある。ハイテクに関しては、アメリカ国内で政策が大きく見直され規制緩和に向かう。日本や欧州へのインパクトも大きく、構築された関係が見直され、今後の協調のありかたを模索することになる。

巨大テックのスタンス

巨大テック経営者は一斉に、トランプ氏に祝意を示し、新政権と協調していく姿勢を示した(下の写真)。トランプ氏は選挙戦でハイテク政策に言及することは無かったが、規制を緩和することでイノベーションを促進する方向に進むとみられている。AI政策も例外ではなく、規制が緩和され技術開発が急進する勢いとなった。巨大テックやスタートアップ企業にとっては望ましい方向であるが、トランプ氏の発言がどう政策に反映されるのか不透明な部分は大きい。

ハイテク政策はどうなる

トランプ氏はハイテク政策に関し明確な意思表明をしていないが、共和党シンクタンクなどが政策を提言している。これは「Project 2025」と呼ばれ、トランプ第二次政権の政策を包括的に提示している(下の写真)。ハイテクに関しては、AI、量子コンピュータ、次世代通信技術/5G、次世代製造技術、バイオテクノロジーに関する政策に言及。AIに関しては、国家安全保障の観点から、中国を念頭に、AI先進技術を敵対国に輸出することを厳しく制限することを求めている。また、AIなど高度な技術が盗用されることを防ぐため、安全技術の開発を提言している。

イノベーション推進

Project 2025はAIの安全性を求めると同時に、技術開発におけるイノベーションを推進することを提言している。これは「Tech-Neutral Approach」と呼ばれ、先進技術の開発を優先し、規制を最小限に留めるよう求めている。AI開発においては、政府の規制を最小限とし、企業による自主規制を推奨している。新政権がこの提言を採用するかどうかは見通せないが、基本路線としてはトランプ氏のビジョンに沿っている。トランプ政権がAI開発を後押しすることで、技術開発が急進する。

反トラスト法の運用を緩和

トランプ政権では反トラスト法の運用を緩和する方向に進むとみられている。バイデン政権では司法省がGoogleをインターネット検索や広告事業で反トラスト法に違反する疑いがあるとして提訴し、連邦地方裁判が司法省の主張を認める判決を下した(下の写真)。司法省はこの判決を受け、Googleを解体するなどの指針を示している。また、連邦取引員会(Federal Trade Commission)はMetaやAmazonを反トラスト法違反で提訴している。トランプ政権は、反トラスト法の厳格な運用方針を緩め、企業が自由に事業を展開できる方向に進む公算が大きい。

ソーシャルネットワーク

トランプ第一次政権はソーシャルネットワークTikTokを安全保障の観点から米国での事業を禁止する指針を打ち出した。バイデン政権では、連邦議会がTikTokの米国における事業を禁止する法令を可決した。トランプ氏は先の政策を翻し、TikTokの事業継続を認めると発言している。TikTokにとってはトランプ氏によりビジネス存続の危機を救われた形となった。一方、トランプ氏や共和党議員は、ソーシャルネットワークが保守系の意見を制限しているとして、Facebookなどに自由に発言できるよう求めている。ソーシャルネットワークはリベラルに偏重しているとして、Metaなどへの圧力が高まることが予想される。

暗号通貨

トランプ氏は暗号通貨をサポートするポジションを示し、選挙戦で暗号通貨企業や個人から絶大な支持を受けた。連邦議会下院議員の選挙では、暗号通貨をサポートする議員が相次いで当選し、暗号通貨コミュニティの影響力を示した。バイデン政権では証券取引委員会(Securities and Exchange Commission)が暗号通貨を規制する政策を展開しているが、トランプ政権ではこれを緩和する方向に進むとみられる。暗号通貨の取引が活発になることを見越して、ビットコインなど暗号通貨の価格が急上昇している。

シリコンバレーのムード

巨大テックの経営者はいち早く、トランプ氏と接触し協調していく姿勢を示した。また、スタートアップ企業は規制緩和で企業買収などが進み、ビジネスが活性化すると期待している。シリコンバレーはリベラルな文化で、トランプ氏を支援することはタブー視されてきた。しかし、企業の価値判断は事業収入で、個人の思想と相いれない部分があるものの、トランプ第二次政権と良好な関係を構築するための準備を進めている。

日本や欧州へのインパクト

トランプ新政権も米国第一主義を基軸政策とすることで、欧州や日本への影響が甚大となる。トランプ氏は自国の製造業を保護するため、同盟国からの輸入品に10％から20％の関税を課す方針を示しており、影響は避けられない情勢となっている。ハイテク分野においては、AIに関し同盟国と協調して安全技術の開発を進めてきたが、この方向性が不透明となった。

アメリカが変わった

2016年の大統領選挙では所謂MAGAサポータの支持で当選したが、今年はアメリカ国民の過半数がトランプ氏の政策に共鳴した。トランプ氏は異端者ではなく、アメリカ国民が米国第一や保護主義を基本理念する政策を望んでいる。バイデン政権は同盟国と協調する路線を歩んできたが、これが否定され、アメリカは自国優先の閉じた社会に向かうことになる。アメリカが大きく変わった。

オープンソース管理団体「Open Source Initiative (OSI)」は、10月28日、AIに関するオープンソースの定義を公開した。Linuxに代表されるように、ソフトウェアに関するオープンソースの定義は確定し、共通の理解が形成されている。しかし、生成AIを中心とするAIはソフトウェアとは構造が大きく異なり、オープンソースについての議論が続いていた。異なる定義が混在し市場が混乱していたが、OSIの発表によりオープンソースAIの位置づけが明確になった。しかし、Metaはこの定義を受け入れることはできないとして議論が再燃した。Metaは生成AIモデル「Llama」をオープンソースとして事業を構築しているが、この戦略の見直しを迫られる。

オープンソース・ソフトウェアとは

OSIはソフトウェアに関するオープンソースを「The Open Source Definition」として定義している。これによるとオープンソースのコンセプトは、ソフトウェアを自由に利用、改造、再配布できるものと定めれられている。この代表がLinuxでソフトウェアを無償で利用することができ、また、そのソースコードを自由に改造し、それを製品として販売することができる。これにより、誰もがソフトウェアの恩恵を受けることができ、また、技術開発が進むと期待される。

オープンソースAIの定義

これに対しOSIは新たにAIに関するオープンソースの定義「The Open Source AI Definition」を制定した(下の写真)。この理由は、AIはソフトウェアとは構成が大きく異なり、前述のThe Open Source Definitionを適用することができない。AIも広義のソフトウェアであるが、コードが単独で稼働するのではなく、データと密接に関連し、またシステム構成やそのパラメータが重要な役割を担う。AIオープンソースの定義は、これら要件を包括した内容となっている。

オープンソースAIの定義の概要

OSIによるオープンソースAIはデータ、コード、パラメータの三つのエレメントを含むと定義している。ソフトウェアのオープンソースはコードだけであるが、AIのケースではデータとパラメータが加わる。具体的には：

• データ(Data Information)：モデルの教育で使ったデータに関する詳細な情報。データの出典やデータにアクセスする手法などを公開する義務
• コード(Code)：モデルに関するソースコード。モデルを生成するためのコードの他に、モデルを教育及び実行するためのコードを公開する義務。AIモデル自体だけでなく、それを開発・運用するための一連のコードの公開を求めている。
• パラメータ(Parameters)：モデルの重み(Weights)や設定情報。重みとはモデルの挙動を決定する数値で、トランスフォーマではQuery、Key、Valueなどの値となる。AIモデルを教育することで重みなどを決定するが、これらを公開することを求めている。

コードとデータとパラメータの重要性

ソフトウェアではソースコードを公開することで、機能を理解しこれを改造して新たなソフトウェアを生成できる。これに対し、AIではソースコードを公開するだけでは、AIモデルを稼働させることができない。更に、ソースコードだけでは、これを改造して新たなモデルを生成するために多大な労力を要す。AIモデルを教育するためのデータと、その結果であるパラメータの公開が不可欠で、コードとデータとパラメータが対になり、AIシステムを再構築し、これをベースに新たなモデルを開発することができる。

米国政府はオープンソースAIを推奨

米国連邦政府の機関である取引委員会(Federal Trade Commission、FTC)はオープンソースAI普及を後押ししている。FTCは独自の見解を示し、AIがオープンソースであるためには、モデルのソースコードと重み(Weights)の公開が最低条件であるとしている。上述のコードとパラメータの公開を求めているが、データについては定義に加えていない。FTCはこれを「Open-Weights Foundation Models」と呼び、コードと重みの公開で技術開発が進むと期待している(下の写真)。

Metaのオープンソース戦略

多くの企業が生成AIモデルを“オープンソース”として公開し、コミュニティの技術開発を支援している。Metaは生成AIモデル「Llama」を開発し、そのコードとパラメータを公開し、“オープンソース”としてリリースした。企業や個人はこのモデルを自由に使うことができ、コードを改造してビジネスや研究を進めることができる。OSIの定義によると、オープンソースと名乗るためには、コードとパラメータだけでなく、データの公開が必須となる。MetaはLlamaに関するデータを公開しておらず、オープンソースの定義を満たすことができない。このためMetaはOSIとの折衝を続け共通の理解を見つけるとしている。

オープンソースの危険性

生成AIをオープンソースとして公開することに関し、技術進化に寄与するという意見と、安全保障が脅かされるという意見があり、議論が続いている。特に、ハイエンドモデルは高度な機能を持ち、敵対国や攻撃集団がこれを悪用して、生物兵器などの開発で使われることが懸念される。また、生成AIを使ったサイバー攻撃が現実問題となり、国家安全保障の観点から重大なリスクを抱えることになる。

企業のオープンソース戦略

これに対し、企業は危険性を回避するため、ハイエンドモデルはクローズドソースとして運営し、ローエンドモデルだけをオープンソースとして公開する戦略を取る。Googleは、ハイエンドモデル(Gemini)はクローズドソースとして非公開で運用し、ローエンドモデル(Gemma)をオープンソースとして公開している(下の写真)。事業モデルの観点からは、ハイエンドモデルをビジネスの収益源とし、ローエンドモデルでエコシステムを拡大する。OSIの定義で統一した理解が形成されつつあり、Googleなど主要企業はオープンソースという名称を「オープンモデル(Open Models)」に変更し、その違いを明らかにしている。