カテゴリー別アーカイブ: Facebook

Metaは旗艦モデル「Muse Spark Wonder」とオープンモデル「Muse Spark Open」を相次いで公開、クローズドとオープンのハイブリッド戦略ででAI事業を展開

Metaは10月12日に旗艦モデル「Muse Spark Wonder」を、15日にはオープンモデル「Muse Spark Open」を公開した。Metaが本格的にオープンウェイト市場に参入することで、米国のオープンAI市場が一挙に活性化した。これに先立ち、Thinking Machines Lab、Nvidia、Reflection AIといった企業がオープンAIモデルを投入しており、米国は本格的なオープン時代に突入した。オープンウェイトモデルは中国企業が独占的に供給してきたが、この流れが大きく変わることになる。

出典: Generated with OpenAI GPT-6.1 Sol

オープンウェイトとは

システム情報が公開されているAIモデルは「オープンソース(Open Source)」と呼ばれてきたが、用語の定義には注意が必要となる。AIモデルにおいては「オープンウェイト(Open Weights)」の方式が主流となっている。オープンソースとオープンウェイトは同じではなく、それぞれ異なるモデルとなる。オープンウェイトとは、学習済みのパラメータ「重み(Weights)」が指定された条件のもとで公開されるモデルを指す。一方で、オープンソースの定義はさらに厳格で、これに加え、関連するソースコードやデータの情報、更に、システムを自由に使用、変更、共有できる権利が含まれる。現在公開されているAIモデルの殆どがオープンウェイトであり、本記事ではオープンウェイトの動向について詳しく解析する。

Meta Muse Spark Open

Metaはオープンウェイトモデル「Muse Spark Open」をリリースした。Muse Spark Openは、コーディング及び長期にわたるタスクを実行するエージェント向けに設計されたモデルとなる。パラメータ数は8,160億(816B)と大規模で、「Mixture-of-Experts (MoE)」アーキテクチャを取り、活性化されるパラメータの数は420億(42B)となる。また、100万(1M)トークンのコンテキストウィンドウ(データ処理容量)をサポートしている点も大きな特徴となる。この「Mixture-of-Expert」により、各ステップで消費される計算量が抑えられ、巨大モデルを効率的に処理できることが大きなメリットとなる。

巨大モデルをApple Mac Studioで稼働させる

Metaは巨大モデル「Muse Spark Open」をデスクトップ環境で稼働させることに成功した。 Appleの2台の「M5 Ultra Mac Studio」を連結して、Muse Spark Openをローカルで稼働させる(下の画像)。M5 Ultra Mac Studioは、それぞれ最大512GBのユニファイドメモリを搭載し、MLXフレームワーク(Appleシリコン向けの機械学習フレームワーク)を使用してモデルを稼働させる。これはハイエンドなワークステーション構成となるが、ローカル環境でAIエージェントの可能性を模索する開発者にとっては、極めて実用的な価値を持つオプションとなる。

出典: Mark Zuckerberg

Meta Muse Wonder

Metaはこれに先立ち、10月12日、フラッグシップモデル「Muse Wonder」と「Muse Wonder Full」を発表した。 Muse Wonderは「Muse Spark」とは異なる独立したシリーズとなる。Metaはこれらをクローズドソースモデルとし運用する。これらのモデルは高度なエージェントタスクを実行するためのブレインとして位置付けられる。AI評価機関Artificial Analysisのベンチマークによると、Muse Wonderの性能は劇的に向上し、一気に業界第三位のポジションにランクインした(下のグラフ、左から3番目、Muse Wonder Full)。

出典: Artificial Analysis 

Metaのオープンウェイト戦略

「Muse Spark Open」と「Muse Wonder」のリリースは、Metaのオープンウェイト戦略を端的に示している。Metaはミッドレンジでオープンな普及戦略を取り、ハイエンドではプレミアムサービスを提供し、これら二つのモデルを組み合わせたハイブリッド事業を探求する。Mark Zuckerbergは、個人がAIの恩恵を享受できるよう、高度なAIは広く分散されるべきだと主張している。「Muse Spark Open」は、その主張を具体的な形で実装したものと言える。しかし、ビジネスの観点からは、旗艦モデルでプレミアムサービスを提供することで、利益を探求する筋書きを描く。

米国のオープンウェイト市場

米国市場では既に、水面下でオープンウェイトモデルの開発が早いペースで進んでいる。現時点におけるオープンウェイトモデル開発企業と製品の位置づけを纏めると次の通りとなる。

出典: VentureClef 

米国企業と中国企業の激突

オープンウェイトモデルは中国、クローズドソースモデルは米国、という構図が大きく変わることになる。米国はクローズドソースからオープンウェイトに大きく舵を切り、市場内で両者が共存する関係となる。組織は、高度なタスクや使用頻度の低いタスクにはクローズドモデルを使用する一方で、日々のワークフローにはオープンウェイトモデルをダウンロードして、これを最適化して利用する。また、極めて機密性の高いタスクの実行では、オープンウェイトモデルをローカルに展開する。その際に、中国モデルを使う代わりに、Muse Spark OpenやNvidia Nemotronなどが選択肢となる。米国企業はオープンウェイトモデルの開発で、正面から中国企業と激突することになる。

Metaはオープンソース企業に大転換!!フロンティアモデル「Muse Spark 1.2」の重み(Weights)を公開、Zuckerbergは米国製オープンソースを世界に普及させると宣言

MetaのCEOであるMark Zuckerbergは8月10日、AIに関する論文を発表し、フロンティアモデル「Muse Spark」をオープンソースとして公開することを明らかにした。Metaは前世代モデル「Llama」でオープンソース戦略を取ってきたが、現行モデル「Muse Spark」はクローズドソースとして提供している。Zuckerbergはこの方針を転換し、現行モデルも重み(Weights)を公開し、オープンソースとして提供する指針とした。中国企業が世界のオープンソース市場を席捲しており、ZuckerbergはMuse Sparkが対抗軸となり、アメリカの技術をグローバルに普及させると宣言した。

出典: Generated with OpenAI GPT-5.6 Sol

Muse Glimmerの発表

Metaは8月10日、小型AIモデルである「Muse Glimmer」を発表し、これをオープンソースとして公開することを明らかにした。Muse Glimmerは30Bのパラメータ数で、アーキテクチャの観点からはデンスモデルとなる。Muse Glimmerはフロンティアモデルである「Muse Spark」の知識を転移する「Knowledge Distillation(知識蒸留)」の方式で開発された。

Muse Glimmerの利用方法

Muse GlimmerはパーソナルAIエージェントのブレインとして開発された。Muse Glimmerは30Bの小型モデルで、必要なメモリ容量は55GBで、パソコンやサーバで稼働させることができる。パソコンでAIエージェントを開発して稼働させることができ、コードのデバッグやソフトウェア開発などで威力を発揮する。対抗機種はGoogleのGemma4-31BやAlibabaのQwen3.6-27Bで、Muse Glimmerはエージェント機能を測定するベンチマークテストでこれらの性能を大きく上回った(下のテーブル)。

出典: Meta 

Muse Spark 1.2の発表

Metaはこれに先立ち8月5日、フロンティアモデル「Muse Spark 1.2」を発表した。Muse Spark 1.2はMetaのフラッグシップモデルで、コーディング機能を格段に強化したモデルとなる。Muse Spark 1.2はコードの生成、複雑なコードのデバッグ、コードベースの理解、ソフトウェア開発の自動化などで使われる。エンジニアリングにおけるコーディング・エージェント機能を査定するベンチマークテスト「Terminal-Bench 2.1」で、Muse Spark 1.2はAnthropicのOpus 5に迫る性能をマークした。また、総合性能を評価するベンチマークテスト「Intelligence Index」では、Muse Spark 1.2は大きく順位を上げ7位にランクインし、GPT-5.6 Terraに次ぐポジションを占めた(下のグラフ)。

出典: Artificial Analysis

Muse Codeをリリース

Metaは同時に、コーディング・エージェント「Muse Code」を投入した。Muse Codeはターミナルベースのコーディング・エージェントで、そのブレインとしてMuse Spark 1.2を搭載する構造となる。Claude Codeの対抗製品で、複雑なエンジニアリングタスクを実行する。Muse Codeの特徴はバックグラウンドで複数のエージェントを使ってタスクを実行する方式「Async Background Agents」にある。複数のエージェントが共同して稼働することで短時間でタスクを完遂する。(下のイメージ、ブラックホール(円形の部分)の周りのフォトン(円形や楕円の部分)の挙動をシミュレーションしたもの、このシミュレータはMuse Codeで作成された)

出典: Meta 

オープンソース開発経緯

MetaはAIモデル「Llama」の開発で、製品をオープンソースとして公開する戦略を取ってきた。Llamaが幅広く普及しAI研究開発を大きく推進する原動力となってきた。Metaは、Llamaの開発を停止し、新たな製品ライン「Muse Spark」の開発に着手し、これをクローズドソースとして提供してきた。Muse SparkはMetaのAI研究所「Meta Superintelligence Labs(MSL)」で開発されている。AI研究所の所長はAlexandr Wang(下のイメージ)で若い(29歳)ブレインがMetaのAI開発を指揮する。

出典: Generated with OpenAI GPT-5.6 Sol

オープンソースに大転換

Zuckerberg(下のイメージ)は8月10日、AI戦略に関するビジョン「The Future is for Everyone」を公開し、全ての人々がAIの恩恵を受けるための構想を提唱した。この中でオープンソースに関する指針を明らかにし、Metaは全社を挙げてこれをサポートし、AI研究所・Meta Superintelligence LabsはMuse Sparkをオープンソースとして公開することを明らかにした。Metaはクローズドソースからオープンソースに大転換した。

戦略を転換した理由

Zuckerbergは一部の企業や組織にインテリジェンスが偏在することに強い懸念を持ち、オープンソースとして提供することで、個人や小企業がAIにアクセスできる環境を提供するとしている。また、地政治学的見地からは、中国のオープンソースが世界標準となり、世界市場で急速に普及していることを懸念している。Metaがこの対抗軸となり、オープンソースをグローバル市場に展開し、アメリカの技術が世界のインフラを支えることを目標としている。

出典: Generated with OpenAI GPT-5.6 Sol

オープンソースのリスク

市場ではオープンソースのリスクについて様々な議論が展開されている。最先端のオープンソースは高度な機能を持ち、サイバー攻撃で悪用されると、社会に重大なリスクをもたらす。Zuckerbergはこの議論に対し、オープンソースとして公開することで、多くの研究開発者が内部構造を検証することができ、モデルが内包するリスクが明らかになり、パッチの開発作業が進み安全なモデルとなる。また、サイバー攻撃を防御するためには、OpenAI GPT-5.6 Solなど選択肢が限られているが、Muse Sparkを公開することで防衛技術のオプションが増えるとしている。

米国市場はオープンソースに向かう

米国で、オープンソースの開発が進み、エコシステムが拡大している。MetaはMuse Sparkでオープンソース事業を展開する。新興企業Thinking Machines Labはフラッグシップモデル「Inkling」を開発し、これをオープンソースとしてリリースした。また、Nvidiaはオープンソースのアライアンス「Open Source AI Alliance」を結成し、業界の主要IT企業が結集し、AIモデルやツールを共有しオープンソースを推進する。AIモデルはOpenAI、Anthropic、Googleのクローズドソースに限られているが、いまこの流れが大きく変わろうとしている。

MetaはAIモデル「Muse Spark」を公開、ゼロから開発しアーキテクチャを一新、マルチモダルで他社をキャッチアップしたが推論機能は未完成、将来性が期待できトップ集団を猛追

Metaは新たにAI開発研究所「Meta Superintelligence Labs(MSL)」を設立しフロンティアモデルの開発を進めてきた。研究所の所長はAlexandr Wangで、Zuckerbergが会社を買収するかたちで引き抜いた。Wangは28歳と若手のエリートでMetaのAI開発の総責任者となる。研究所設立後9ヶ月で最初のモデル「Muse Spark」をリリースした。ゼロベースで開発されたモデルで、トップ集団に迫る性能を示しその将来性が期待される。

出典: Generated with OpenAI GPT-5.5 Image

MetaはAI開発体制を一新

Muse SparkはMeta Superintelligence Labs(MSL)が開発した最初のフロンティアモデルでトップ集団に迫る性能に到達した。MetaはAI研究所「Meta Fundamental AI Research (FAIR)」でLlamaシリーズを開発してきたが、モデルの規模を拡大しても性能は上がらず、苦戦を強いられている。Zuckerbergは新組織MSLを設立し、ここでWangが総責任者となり、新モデルの開発を進めてきた(下のイメージ)。Muse Sparkがその最初の成果で、アーキテクチャを一新し、Llamaとは異なるシリーズとして位置付けられる。

出典: Generated with OpenAI GPT-5.5 Image 

MetaのAIモデル体系

MetaはLlamaシリーズを開発しこれをオープンソースとして公開してきた。今では開発の中心はMuse Sparkで、このシリーズがMetaのフラッグシップモデルとなる。新研究所MSLでAI技術の研究開発が進められ、それらは「Avocado」と「Mango」と呼ばれる。Avocadoは高度な推論機能を搭載したフロンティアモデルで、Muse Sparkにその技術が搭載されている。Mangoはマルチメディア(イメージやビデオ)等を生成するモデルで、独立したシリーズとして製品化される。AvocadoとMangoはクローズドソースとなり、Metaは戦略を大きく転換した。

出典: Generated with OpenAI GPT-5.5 Image 

Muse Sparkの性能

Muse Sparkは際立った特徴を示し、マルチモダルのベンチマークテストでは先頭集団に追い付いた。一方で、推論機能やコーディング・エージェントの試験ではまだ出遅れている。MetaはMuse Sparkのベンチマークテスト結果を公表し、これを分野別にグラフ化すると下記の通りとなる。マルチモダルの試験(Multimodalの部分)とヘルスケアの試験(Healthの部分)ではトップ集団をキャッチアップした。一方で、推論機能(Reasoningの部分)とエージェント機能(Agenticの部分)の試験では出遅れている。

出典: Generated with OpenAI GPT-5.5 Image 

データ品質とアルゴリズム

Muse Sparkはベンチマークテスト区分で性能に大きな相違がある。アルゴリズムを教育するデータ品質が性能に大きく影響するマルチモダルやヘルスでは高い性能を示した。WangはScale AIの創業者で、同社はOpenAIなどに高品質な教育データを提供してきた。WangはこのスキルをMuse Sparkに反映し、高品質なモデルを造り上げた。一方で、推論機能やエージェント機能ではアルゴリズムの改良や強化学習のスキルが求められ、Muse Sparkは開発の課題を浮き彫りにした。

個人向けスーパーインテリジェンス

MetaはMuse Sparkで個人向けスーパーインテリジェンス「Personal Superintelligence」を構築するビジョンを明らかにした。マルチモダル推論機能が極めて高く、カメラで捉えたイメージを解析し、実社会を理解し利用者のウェルネスなどに役立てる。Metaはスマートグラス「Orion」を開発しており、カメラが捉えたビデオをMuse Sparkで解析するなどのアプリケーションを開発している。(下の写真、冷蔵庫の中の写真をMuse Sparkが解析した事例、「Cannoli Pastries」は飽和脂肪と糖分が多くコレストロール管理には最悪の食品と評価)

出典: Meta 

マルチモダル

Muse Sparkはネイティブのマルチモダルでビジュアルな情報を幅広いドメインに組み込んでいる。科学・技術・工学・数学(STEM)の分野におけるビジュアル解析を強みとし、オブジェクトの認識や位置情報の把握で威力を発揮する。入力されたイメージを解析しインタラクティブに情報を提供する。(下の写真、エスプレッソマシンの使い方をインタラクティブに説明、左側に手順が示され、そこにカーソルを当てるとマシンの関連部分がハイライトされる)

出典: Meta 

ヘルスケアとウェルネス

Muse Sparkの最重要アプリケーションはヘルスケアとウェルネスで、利用者が健康に生活するための情報を提供する。Metaは1,000人の医師と共同でモデル教育のためのデータを精選し、Muse Sparkは医療関連データについて幅広い知識を習得し、広範囲な質問に回答できる。Muse Sparkはインタラクティブなパネルに健康に関する情報を提供する。(下の写真、ダンスの写真を入力すると、Muse Sparkはエクササイズのポイントを解説、赤丸にカーソルを合わせるとエクササイズを向上させるためのコツを表示)

出典: Meta 

オープンソースからクローズドソースへ

ZuckerbergはScale AIを143億ドルで買収し、天才AI研究者Alexandr Wangを獲得した。その最初の成果がMuse Sparkで、マルチモダルで先頭集団に追い付き、推論機能を強化するためのアルゴリズム開発を進めている。MetaはAI開発戦略を大幅に変更し、Llamaシリーズをオープンソースとして公開してきたが、Muse Spark / AvocadoとMangoのラインはクローズドソースとして運営する。中国企業はオープンソース戦略でエコシステムを拡大する戦略を取り、Metaが戦略を転換したことで、米国企業はクローズドソース戦略という色分けが鮮明となった。

MetaはAI開発が難航し最大の危機に直面、スーパーインテリジェンス研究所を設立し立て直しを図る、著名研究者を競合他社から引き抜き推論機能を強化

Metaは会社創業以来の危機に直面している。MetaはAI最新モデル「Llama 4」を投入したが、ベンチマーク性能は先頭集団に及ばず、AI開発での出遅れが顕著になった。ハイエンドモデル「Behemoth」は出荷時期が延伸され、開発が不調であることを裏付けている。CEOのMark ZuckerbergはAI開発体制を一新し「スーパーインテリジェンス研究所」を創設した。スタートアップ企業Scale AIを買収し、また、OpenAIなどから著名研究者を引き抜き、研究体制を大幅に強化した。(下の写真、スーパーインテリジェンス研究所のイメージ)

出典: Generated with Google Imagen 4

MetaのAI開発が難航

MetaはAIモデル「Llama」を開発し、そのコードや重みをオープンソースとして公開してきた。初代のLlamaからLlama 3はトップレベルの性能を示し、開発コミュニティで幅広く使われている。しかし、Metaは今年4月にLlama 4をリリースしたが(下の写真)、ミッドレンジモデル「Maverick」はOpenAIやGoogleの対抗モデルと比較して、推論機能が大きく劣ることが明らかになった。また、実社会でのベンチマーク「LM-Arena」では30位の成績で、トップグループからの出遅れが顕著となった。

出典: Meta

スーパーインテリジェンス研究所

Zuckerbergはこれを重大な危機と認識し、MetaのAI開発体制を一新し、「スーパーインテリジェンス研究所(Superintelligence Labs)」を設立した。研究所のミッションは次世代モデルの開発で、人間の知能を凌駕するスーパーインテリジェンスを開発する。MetaはAIスタートアップ企業「Scale AI」に143億ドル投資し、創業者のAlex Wangを研究所の代表に任命した。また、OpenAIやGoogleから著名研究者を引き抜き、AI開発のドリームチームを結成した。

出典: Generated with Google Imagen 4

スーパーインテリジェンス研究体制

スーパーインテリジェンス研究所はCEO直属組織で、所長のWang(下の写真右側)がZuckerberg(左側)に直接レポートする。現在、コアの研究者の数は50名と言われるが、Zuckerbergは業界の著名研究者をアグレッシブに採用している。MetaはOpenAIの主要研究者にオファーを出し、採用ボーナスとして1億ドルを提示したとされる。この他に、Google、Perplexity、Safe Superintelligenceの研究者の採用を試みている。

出典: Stocktwis / CNBC

採用された研究者のプロフィール

実際に採用された研究者の経歴を見ると、Metaの次世代モデル開発の戦略を読み取ることができる。MetaのAI開発が難航している理由は推論モデルで、このノウハウを持つ研究者を重点的に採用している。更に、MetaはスマートグラスをAIで強化することでインテリジェントなウエアラブルを製品化する。このため、ビジョン・トランスフォーマなどマルチモダルの研究者を数多く採用した。また、所長のWangはデータやインフラの第一人者で、推論モデル開発で必須となる教育データ生成のノウハウを持つ。

スーパーインテリジェンス研究所の開発テーマ

スーパーインテリジェンス研究所のミッションは人間の知能を凌駕するAIモデルを開発することにある。技術的には、上述の推論機能を強化するため、強化学習(Reinforcement Learning)や思考の連鎖(Chain of Thought)が研究テーマとなる。また、AIが実社会とインタラクションするために「世界モデル」を開発する。世界モデルとはAIシステムが3D物理社会のコンテキストを理解し、次の挙動を予測する能力となる。スーパーインテリジェンスに加えロボティックにおける重要な基礎技術となる。また、人間の知能を上回るAIシステムを安全に制御するために、セーフティ技術の開発が必須となる。(下の写真、Metaの本社キャンパス)

出典: Meta

オープンソース戦略の見直し

MetaはAI開発におけるオープンソース戦略の見直しを進めている。MetaはLlamaシリーズをオープンソースとして公開することで、コミュニティのAI開発を支え社会に多大な貢献をしている。一方、高度なAIをオープンソースとして開発することで、マイナスの面が顕著になってきた。特に、推論モデルにおいてこれをオープンソースとして公開すると、AIの思考プロセスが開示され、開発競争において不利になる。また、スーパーインテリジェンスなど高度なモデルを公開することは敵対国や攻撃団体に悪用されるリスクが高まり国家安全保障の重大な問題となる。Metaはスーパーインテリジェンスにおけるオープンソース戦略の見直しを進めている。

LeCunとの関係

MetaのAI開発が低迷した理由の一つにYann LeCun(下の写真)のインテリジェンス開発に関するビジョンが影響している。LeCunはMetaのAI研究所「Fundamental AI Research (FAIR)」(現在は「Meta AI」)の所長としてAI開発をリードしてきた。LeCunは人間の知能に匹敵するAGI開発に懐疑的なポジションを取り、いまの言語モデルを拡張してもAGIには到達できないと考える。Metaが独自の手法を探索している間に、OpenAIやGoogleは言語モデルや推論モデルを拡張しAGIを目指し大きな成果を上げている。ZuckerbergはLeCunの手法と一定の距離を置き、スーパーインテリジェンス研究所を設立し次世代モデルの開発にリソースを投入する。

出典: Meta

臨戦態勢で先端技術を開発

AI先進モデルの開発ではアルゴリズム、データセンタ、データがコア技術となり、研究開発の成否を握る。アルゴリズムにおいては、先端モデルの開発に従事している研究者は20人程度と言われている。これら最先端研究者がOpenAIやGoogleで次世代モデルを生み出している。MetaがOpenAIから数多く研究者を引き抜いたが、OpenAIもGoogleから研究者をスカウトした。Zuckerbergは参謀本部(War Room)を創設し、ここで臨戦態勢でAI開発を推進する。Metaはトップ集団に追い付くことができるのか、スーパーインテリジェンスの開発が注目される。(下の写真、MetaデータセンタのNvidia GPUクラスター)

出典: Nvidia

Metaは巨大言語モデル「Llama 4」を公開、オープンソースが業界トップの性能を達成、中国モデルの躍進を受け性能とコストを大幅に改良

Metaは最新のオープンソース言語モデル「Llama 4」を公開した。Llama 4はOpenAI GPT-4.5など業界のトップモデルの性能に並び、オープンソースがクローズドソースのレンジに入った。Llama 4はマルチモダルな構造で、イメージやビデオをそのまま処理することができる。Llama 4は「Mixture of Expert (MoE)」というアーキテクチャを採用し、複数の専用モジュールがモデルを構成する。これにより、教育や実行のプロセスで計算量を低減し、運用コストを大幅に抑えた。

出典: Generated with Meta Llama 4

Llama 4のモデル構成

Llama 4はMetaの最新言語モデルで三つのラインから構成される。規模の順に「Behemoth」、「Maverick」、「Scout」となる。Behemothはまだ開発中で、MaverickとScoutがリリースされた。Llama 4はマルチモダルで「Mixture of Expert(MoE)」というアーキテクチャとなる。モデルの特徴は:

  • Llama 4 Behemoth:ハイエンドモデル、最もインテリジェントなモデル、教師モデルとして他のモデルをKnowledge Distillation(知識抽出)の手法で開発、パラメータ数は2T
  • Llama 4 Maverick:ミッドレンジモデル、マルチモダル処理に特徴、パラメータ数は400B
  • Llama 4 Scout:ローエンドモデル、コンテクストサイズ(入力できるデータの量)は10Mと巨大、パラメータ数は109B
出典: Meta

Llamaの利用方法

MetaはLlamaを「Meta AI」に公開しており、このサイトで利用することができる。Meta AIはLlamaのインファレンスサイトで、ブラウザーのインターフェイスで、モデルを使うことができる(下の写真、Llama 4 Scoutがイメージを生成)。対話形式のAIモデルで、プロンプトに対し、Llamaが回答を生成する。特に、Metaはイメージ生成技術にフォーカスしており、Llamaは指示された内容に沿って綺麗なイメージを生成する。

出典: Meta AI

Llama 4をダウンロード

Llama 4をHugging Faceからダウンロードして利用することができる。Hugging FaceはオープンソースAIのハブで、ここにLlama 4が公開されている。ここは開発者向けのサイトで、社内のサーバやデスクトップにダウンロードして利用する。但し、Llama 4はモデルのサイズが大きく、PCでは容量が足りず、最低限でもNvidia GPU H100が1ユニット必要となる。また、Hugging Faceはインファレンスサービスを提供しており、ここでLlama 4をトライアルで実行しその機能や性能を検証することができる(下の写真、Maverickで入力した写真を解析)。

出典: Hugging Face

クラウドサービス

主要クラウドはLlama 4のホスティングを開始し、ここでモデルを利用することができる。Googleはクラウド「Vertex AI」でLlama 4のホスティングを始め、この環境でモデルを実行することができる(下の写真)。また、独自のデータでLlama 4をファインチューニングし、専用モデルを開発することができる。GoogleはLlamaの他に、DeepSeekなど主要オープンソースをホスティングをしており、ここで様々なモデルを利用できる。

出典: Google

Llama 4 Maverickの性能

Llama 4 Maverickはシリーズの中核モデルで、他社の主要モデルに対抗する位置づけとなる。MaverickはMoEアーキテクチャを採用し、128のエキスパートで構成される。モデル全体ではパラメータ数は400Bであるが、インファレンス時に活性化されるパラメータ数は17Bで、効率的に稼働させることができる。ベンチマークサイト「LMArena」はモデルの性能を公開しており、これによると、MaverickはGPT-4.5やGrok 3などを追い越し、二位の位置を占めている(下のグラフ)。

出典: AI Arena benchmark scores

Mixture of Expertsの採用

アーキテクチャの観点からは、MetaはLlama 4で「Mixture of Experts (MoE)」という方式を採用した。Llama 3までは「Dense Model」と呼ばれる単一構成のモデルで、Llama 4からMoEに移った。MoEとは入力されたプロンプトに対し、最適なエキスパート(専門モジュール)がアサインされ、タスクを実行する仕組みとなる(下のダイアグラム)。

出典: Meta

Mixture of Expertsの仕組み

具体的には、ルーター「Router」がプロンプトを解析し、最適なエキスパートにデータを転送、この専門モジュールで処理が進むまた、共有エキスパート「Shared Expert」はプロンプトの内容に関わらず、常に使われるモジュールとなる。MoEにより活性化されるネットワークが限定され、トレーニングやインファレンスを効率的に実行できる。Llama 4 Maverickのケースでは、モデル全体でパラメータの数は400Bであるが、実行時には17Bのパラメータが活性化され、システムの4%の部分だけが稼働し、計算処理を大きく低減する。

DeepSeekとの競合

MetaはDeepSeekの衝撃を受けてLlama 4の開発を急ピッチで進めた。DeepSeekが高度な言語モデル「DeepSeek-V3」をリリースし、MetaのAI開発チームはこの技術を詳細に解析し、これがLlama 4に反映されている。Llama 4 MaverickはDeepSeek-V3を意識した設計となっており、DeepSeek-V3と同等の推論機能を半分の規模(パラメータの数が1/2)で実現した。DeepSeekとの競合でMetaの技術開発が大きく前進したかたちとなった。