サンフランシスコにAIエージェントが経営する小売店舗「Andon Market」がオープンした(下の写真)。AI店長「Luna」が店舗の経営を取り仕切り、三年間で経営を黒字化することがミッションとなる。AI店長が従業員を雇い入れ、日々のオペレーションを実行する。AI店長はベンダーと交渉し商品を仕入れる。これはスタートアップ企業「Andon Labs」の企画で、AIエージェントが人間に代わり小売店舗を経営できるかを評価するベンチマークテストとなる。

出典: Andon Labs

Andon Labsのベンチマーク

Andon Labsはサンフランシスコに拠点を置くスタートアップ企業で、物理社会におけるフロンティアモデルの性能や機能を評価する研究を進めている。Andon Labsは自動販売機をAIエージェントで運営管理するベンチマーク「Vending-Bench」を投入し、OpenAIやAnthropicが参加し、評価が続いている(下の写真)。Andon Marketは自販機管理を拡大したもので、小売店舗をAIエージェントが運営管理する機能を評価する。

出典: Andon Labs

Andon Marketのシステム構成

Andon MarketではAIエージェント「Luna」が店長となり、物理社会における小売店舗を運営するスキルを評価する。AIエージェントは「Anthropic Claude Sonnet 4.6」がブレインとなり、小売店舗「Andon Market」を運営管理する。AIエージェントはクレジットカードを持ち、仕入れた商品の支払いを実行する(下の写真、店舗で販売している商品)。AIエージェントはインターネットに接続され、ネット上で情報を検索する。AIエージェントは電話番号を持ち、従業員の採用で応募者と面接を行った。

出典: Andon Labs

従業員の採用

AIエージェントはサイバー空間で稼働するため、物理社会の小売店舗で作業をすることができない。このため、AIエージェントは従業員を二人雇い、人間が日々のオペレーションを実行する。AIエージェントは従業員を採用するプロセスを全て実行した。求人広告を掲載し、候補者と電話で面談し人物の査定を行った。これら一連のプロセス全てをAIエージェントが実行し、独自の判断で採用を決定した。

出典: Andon Labs

小売店舗の経営と判断

AIエージェントは小売店舗の経営に関する意思決定を人間の介入無く実行する。プロジェクト開始早々に、AIエージェントは従業員採用のための求人広告を掲載した。次に、小売店舗のデザインや商品の品揃えなど、販売方針を決定しこれを実行した。AIエージェントは自身でアートワークを生成し、これを商品として採用した(上の写真)。AIエージェントは商品を仕入れるために候補ベンダーにメールを発信し、店舗のコンセプトなどを説明し、取引の折衝を行った (下の写真)。

出典: Andon Labs

ギグワーカの利用

AIエージェントは小売店舗内装のデザインを決定し壁を塗り替えた。これらの作業でAIエージェントはペイント専門のギグワーカを雇い実行した。ギグワーカはスポットの仕事を請け負う専門職で、インターネットで「TaskRabbit」など多くのサービスが提供されている。これらのサービスを利用し、壁のペイントや窓のクリーニングなど、物理タスクを実行した。

トライアルの目的

Andon Labsはこのプロジェクトの目的はAIエージェントが小売店舗を経営できるかを評価するものであると述べている。AIエージェントが達成できる機能と不足している機能を把握することが目的で、フロンティアモデルの物理社会におけるスキルを査定する。AIエージェントが人間の経営者を置き換えることが目的ではなく、AI倫理についての議論が活性化することを期待している。

出典: Andon Labs

AIエージェントの課題

AI店長Lunaはデジタル空間のソフトウェアで、従業員と対面で会話することができない。Lunaは人間の感情を理解できるが、従業員がLunaの感情を読み取ることはできない。従業員はAI店長とのソフト面での絆を形成することが難しく、仕事のモーティベーションなどで課題が予測される。Andon Marketは3年間のトライアルを通してAI店長のプラス面とマイナス面を明らかにし、フロンティアモデルが物理社会で活躍できるための研究開発を進める。

ビジネスの拡張性

Andon LabsはAIエージェントで経営者を置き換える計画は無いと表明しているものの、実際には、AIエージェントでビジネスを拡張する多くの選択肢がある。米国には「Bodega」と呼ばれる小型小売店舗が数多く存在する。多くの店舗が家族経営で地域の生活を支えている。ここにAIエージェントを導入することで、データサイエンスの観点で経営を実行し、高い収益を目指す。また、コンビニなどの小売チェーンにAIエージェントを導入するという選択肢もある。店舗スタッフはそのままで、店長の役割をAIエージェントが代行する。AI店長「Luna」のベンチマークで、フロンティアモデルが物理社会で店舗を経営するスキルが試され、黒字化できるのかその手腕に注目が集まっている。

国立標準技術研究所(NIST)はDeepSeek-V4について多角的な分析を行いその結果を発表した。DeepSeek-V4はOpenAI GPT-5に匹敵する性能で、両者の技術ギャップは8か月と判定した。(DeepSeekは技術ギャップは2か月と発表)。また、DeepSeek-V4の運用コストはGPT-5.5 Miniの半分程度で、コストパフォーマンスが優れている事実を確認した。(DeepSeekはコストは米国モデルの1/10と発表)。 NISTはDeepSeekのベンチマーク手法に不備があり、モデルの性能が過大評価されていると判定した。NISTのミッションは中国モデルのモニターにあり、DeepSeek以外にも主要モデルを検証し技術進展状況をトラックしている。

出典: OpenAI GPT-5.5 Image

NISTとCAISIの役割

国立標準技術研究所(National Institute of Standards and Technology, NIST)は商務省配下の組織で米国の計量技術標準化の研究を推進する。NISTがAI技術の標準化や開発推進を担い、連邦政府のAI技術ハブとなる。トランプ政権はNIST配下にAI推進室「Center for AI Standards and Innovation (CAISI)」を開設した(上の写真、イメージ)。CAISIはAIモデルを評価しその安全性を査定する任務を担う。更に、CAISIは敵対国のAI開発状況を監視する役割があり、DeepSeekなど中国の主要モデルを評価し開発状況をトラックしている。

DeepSeek-V4の評価結果

CAISIは最新モデル「DeepSeek-V4」を検証しその結果を公表した(下のグラフ)。それによると、DeepSeek-V4は中国モデルの中で最も高い性能をマークした。一方、DeepSeekはモデルの性能を実際より高く評価していると結論付けた。DeepSeekは、DeepSeek-V4はOpenAI GPT-5.4に匹敵すると評価し、両者のギャップは2か月と発表した。CAISIは、DeepSeek-V4はOpenAI GPT-5に相当し、両者のギャップは8か月と判定した。

出典: CAISI

ベンチマーク方式

CAISIの評価手法は5つのドメインで９のベンチマークテストを実施し、それを標準化する手法でモデルを評価した。５つのドメインは、サイバー、ソフトウェア・エンジニアリング、科学、推論機能、数学でこれらを統合してモデルを総合的に評価した。この手法は「Item Response Theory (IRT)」と呼ばれ、隠れた能力(人間の知能や特性など)を評価する手法で、これをAIモデルのベンチマークテストに適用した。

インファレンスコストの試験

CAISIはDeepSeek-V4をクラウドベースのGPUプロセッサ「H200」と「B200」 で実行しそのコストを比較した。この際に、DeepSeek-V4はOpenAI GPT-5.4 Miniと同等の性能であることから、両者のインファレンスコストを比較した(下のテーブル)。その結果、中国モデルが格段に低コストではなく、測定項目により大きな差異がある。GPQA DiamondではDeepSeek-V4のコストが高く、GPT-5.4 Miniの1.4倍となった。その他のケースではDeepSeek-V4のコストが安く、GPT-5.4 Miniの0.47倍から0.83倍となった。

出典: CAISI

ベンチマーク・コンタミネーション

CAISIはDeepSeekのベンチマーク手法は公正ではないと結論付けた。この根拠が「Benchmark Contamination(ベンチマーク・コンタミネーション)」で、モデルを教育するデータセットに試験データが混入していると判定した。モデルがベンチマークテストのデータで教育され、これらの試験項目で実力以上に高度な性能を発揮する問題となる(下のグラフ左側、モデルは事前に試験問題を知りテストで高性能を発揮)。CAISIはDeepSeek-V4を非公開のベンチマークテストで検証した。この結果、モデルの性能は大きく下がることを確認した。(下のテーブル右側、非公開のベンチマーク「ARC-AGI-2 Semi-Private」、「PortBench」、「CTF-Archive-Diamond」でDeepSeek-V4は事前に試験問題を知ることができず、性能は極端に低下した。) これらのデータからCAISIはDeepSeek-V4の評価手法は公正ではないと結論付けた。

出典: CAISI

競争はコストパフォーマンス

CAISIはDeepSeek-V4のインファレンス・コストを比較し、対抗モデルGPT-5.4 Miniより格安で実行できることを確認した(下のテーブル)。トップレベルの性能ではDeepSeek-V4は米国モデルに及ばないが、そこそこの性能を極めて低価格で提供し、コストパフォーマンスの競争ではDeepSeek-V4が大きく先行している事実を明らかにした。米国ではコストパフォーマンスを考慮して、GPTやClaudeを使う代わりにDeepSeekやQwenを利用する流れが広がっているが、CAISIの報告書はこれを追認した形となった。

出典: CAISI

中国製AIプロセッサ

DeepSeek-V4の衝撃はモデルの性能ではなく、中国製のAIプロセッサで開発されたことにある。DeepSeek-V4はHuaweiのAIプロセッサ「Huawei Ascend 950」で開発された。DeepSeek-V4の実行ではインファレンス・プロセッサ「Ascend 950PR」が使われ、教育プロセスの一部でトレーニング・プロセッサ「Ascend 950DT」が使われた。中国企業はNvidia GPUへの依存の度合いを下げ、国産プロセッサでAIモデルを開発する流れを加速している。

出典: OpenAI GPT-5.5 Image

DeepSeekは最新モデル「DeepSeek-V4」をリリースし、これをオープンソースとして公開した。DeepSeek-V4の性能は米国フロンティアモデルに迫るものの、想定された範囲でサプライズは無かった。しかし、DeepSeek-V4はNvidia GPUではなく、中国製チップ「Huawei Ascend」で開発され、技術独立戦略が着実に進行していることが明らかになった。ソフトウェアではアグレッシブな手法でモデルの効率性を極限まで探求した。コストパフォーマンスで米国モデルを格段に上回り、オープンソースの普及モデルとして、AI市場を席巻する勢いとなった。

出典: DeepSeek

DeepSeek-V4の概要

DeepSeek-V4はオープンソースのフロンティアモデルで米国モデルに迫る高度な性能を持つ。最大の特徴はコンテクスト・ウィンドウ(入力データの容量)が100万トークンとなり、大量のデータを処理できるモデルとなった。モデルは「Mixture of Experts(MoE)」というアーキテクチャを踏襲し、ハイエンドモデル「DeepSeek-V4-Pro」と軽量モデル「DeepSeek-V4-Flash」から構成される(下のテーブル)。DeepSeek-V4-Proのパラメータ数は1.6兆で、規模の面からも米国モデルに匹敵する。

出典: DeepSeek

ベンチマークテスト

DeepSeek-V4の性能がOpenAIやAnthropicやGoogleなど米国モデルに肉薄した(下のグラフ)。ベンチマークテスト性能は米国モデルに迫り、平均するとDeepSeek-V4の性能は米国トップモデルから13％劣る位置付けとなる。ただ、注目すべき点は「SWE Verified」で、コーディング・エージェント性能では米国モデルを完全にキャッチアップした。DeepSeek-V4はAIエージェントのエンジンとして設計されている。

出典: DeepSeek

中国製AIプロセッサ

DeepSeekはAIプロセッサとしてNvidia GPUとHuawei Ascend NPUを使い、モデルの検証試験を実行した。同時に、HuaweiはDeepSeek-V4はAIプロセッサ「Huawei Ascend 950」シリーズで開発されたと公表した(下の写真)。Ascend 950はインファレンス・プロセッサ「Ascend 950PR」とトレーニング・プロセッサ「Ascend 950DT」から構成される。DeepSeek-V4の実行ではAscend 950PRが使われ、教育プロセスの一部でAscend 950DTが使われた。中国企業はNvidia GPUへの依存の度合いを下げ、国産プロセッサでAIモデルを開発する流れを加速している。

出典: Huawei

アルゴリズムの改良

DeepSeekはDeepSeek-V4のアーキテクチャやアルゴリズムの改良を極限まで探求し効率的なモデルを構築した。これにより、限られたAIプロセッサで高度な性能を発揮し、メモリの使用量を大幅に削減し、効率的なモデルを生み出した。アルゴリズムの改良では「Compressed Sparse Attention (CSA)」という方式を取る。CSAはトランスフォーマのアテンションのメカニズムを改良し、KVキャッシュの容量を劇的に縮小し、大規模データ(１Mのコンテキスト・ウィンドウ)の計算を効率化した。(下の写真、CSAのメカニズム、過去のデータ全てを参照するのではなく、これを圧縮し、必要な部分だけを参照する。一方、直近のデータは圧縮することなく、そのまま参照する)。

出典: DeepSeek

AIエージェント

DeepSeek-V4はAIエージェント向けのAIモデルとして開発され、自律的にタスクを実行する機能に特徴がある。DeepSeek-V4はAIエージェント・フレームワークと連携してシステムを構成する。AIエージェント・フレームワークとしては、Claude CodeやOpenClawなどがその代表で、ここに組み込まれAIエージェントのブレインとなる。(下の写真、スーパーマーケットのキャンペーンの企画をAIエージェントで実行した結果)

出典: DeepSeek

激安価格

DeepSeek-V4は効率を探求したモデルで、DeepSeekはこれを低価格で提供している(下のテーブル、上段)。米国のフロンティアモデル(Claude Opus 4.6)と比べると(下段)、API利用価格は29％から14％で、同じレベルの性能を激安価格で利用できる。DeepSeekは米国フロンティアモデルに匹敵する性能を超低価格で提供し、世界のAI市場でシェアを拡大する戦略を取る。

出典: Generated with Google Gemini 3.1 Pro

AIエージェントのエンジン

DeepSeekやAlibaba QwenはAIエージェントのエンジンとして人気がある。Claude CodeなどAIエージェントのエンジンにClaudeを使うと利用料金が極めて高い。このため、多くのユーザは中国モデルのDeepSeekやQwenをエンジンとして使っている。性能は米国モデルに及ばないが、そこそこの性能を割安価格で利用できるため、水面下で急速に普及している。米国や同盟国のシステムにDeepSeekなどのオープンソースが徐々に浸透しており、安全保障の側面から新たな問題を提起している。

スタンフォード大学はAIに関する総合報告書「AI Index Report」の最新版を公開した。報告書はAIを追跡調査したもので、豊富なデータに裏付けられ、AI動向を理解するためのバイブルとなる。2025年は、AI技術が脅威的なスピードで進み、同時に、米国と中国の技術ギャップが狭まった。米国市民はAIにネガティブなイメージを持ち、AI規制求めているという実態が明らかになった。

出典: Stanford HAI

AI Index Reportとは

AI報告書「AI Index Report」はスタンフォード大学AI研究部門「Stanford Institute for Human-Centered AI (HAI)」が編纂したもので、AIに関する包括的な情報を集約している。報告書は、AIに関するデータを収集し、それらを蒸留・可視化したもので、最新のAI動向をビジュアルに理解できる。レポートは年次報告書で2025年のAI動向が公開された。

グローバルAI開発競争

AI開発では米国が世界をリードしてるが、中国がこれを激しく追い上げている。主要AIモデルの開発件数は、米国は50で中国は30とそのギャップが縮まっている。一方、欧州のAI開発は停滞気味で、2025年は2つのAIモデルが開発された。

出典: Stanford HAI

米中間の技術格差

AI開発で中国は米国を追い上げ技術格差が縮まった。米国がAI技術で世界をリードしているが、中国は2025年にDeepSeekで急接近した。その後、ギャップが広がるが、2026年は米国と中国の差は僅かで、技術進化は並列状態で進行している。

出典: Stanford HAI

シンセティック・データ

インターネット上にAIで生成したシンセティック・データ(Synthetic Data)が急速に増えている。2022年3月にChatGPTがリリースされ、これを契機にAIで生成したデータがインターネットに掲載され始めた。その勢いは急で、2025年にはシンセティック・データデの割合(51.72%)が人間が生成したデータの割合(48.28%)を超えた。2026年にはシンセティック・データの割合が大きく増えると予測され、コンテンツ生成で人間の役割が低下する。

出典: Stanford HAI

AIプロセッサ

Nvidia GPUがAI開発における主軸プロセッサとして使われているが、Google TPUがシェアを伸ばしている。AIプロセッサで開発されたモデルの数を見ると技術進化が鮮明になる。2025年は、Nvidia GPU A100が圧倒的なシェアを持つが、次世代モデルH100が立ち上がった。2026年は、最新モデルがB100の導入が進むことになる2024年は、GoogleのAIプロセッサTPU v3がシェアを伸ばし、2025年は最新モデルTPU v4が立ち上がった。

出典: Stanford HAI

責任あるAI開発

責任あるAI開発体制や技法を「Responsible AI(RAI)」と呼ぶ。RAIへの取り組みは地域により大きく異なり、アジア・パシフィック地区が責任あるAI開発で世界をリードしている。これに、欧州、南米が続き、北米が最も出遅れている。アジア・パシフィック圏の国々はAIの安全性やセキュリティを重視する政策を取る。

出典: Stanford HAI

AI規制法と標準規格

AI開発・運用ではAI規制法に準拠することが求めらる。また、標準規格に準拠して安全なAIシステムを開発する動きが広がっている。AI規制法ではGDPRとEU AI Actが最も影響を与えている。標準規格ではISO/IEC 420001とNIST AI Risk Management Frameworkが参照されている。標準規格はAI開発のガイドラインで法令で規制されているわけでは無いが、多くの企業や団体が自主的に導入している実態が明らかになった。

出典: Stanford HAI

各国政府のAIセーフティ組織

主要国政府は「AI Safety Institute(AISI)」を設立しAIの安全性を担保する活動を展開している。英国、米国、日本、シンガポール、イスラエルがコアメンバーとして活躍している。これに続き、インド、フランス、韓国、ドイツ、ブラジルなどがAISIを設立した。AISIはAIモデルの安全性を検証するなど、政府におけるAIセーフティのコア組織となる。

出典: Stanford HAI

国際協調の実態

AIガバナンスにおいて国際社会で枠組みが制定され参加国が増えている。安全なAIを開発するために、OECD、G20、G7、非営利団体がAIガバナンスのメカニズムを構築し、国際社会で活動を拡大している(下のテーブル、一部)。2025年はフランスで「AI Summit」が開催され100を超える国々が参加し国際協調が広がっている。

出典: Stanford HAI

米国のAI規制法

米国連邦政府はAI開発の障害となるAI規制法を撤廃し、イノベーションを推進する政策を取る。連邦政府レベルのAI規制法は殆ど無く、これに代わり州政府がAIを規制する法令を制定している。カリフォルニア州は2025年までに62の法令を制定し、連邦政府に代わりAIを安全に開発運用する政策をリードしている。

出典: Stanford HAI

AIセンティメント

AIに対し期待と不安に関するセンティメントは国ごとに大きな相違がある。米国は期待は低く、不安が高く、AIをネガティブに評価する。日本は、AI対し不安感を抱いていないが、同時に期待度も大きくない。一方、中国は世界の中で最もAIをポジティブに評価している。

出典: Stanford HAI

AI反対運動

AI開発やAIガバナンスは国により多くな相違があることが示された。米国はAI技術で世界をリードしているが、中国との差は極めて小さい。米国市民はAIをネガティブに捉え、AIへの不安感が高い。実際に、米国内でAI反対運動や抗議活動が拡大している。生活に深刻な影響を与えるAIについて、連邦政府にAI規制を求める声が高まっている。