作成者別アーカイブ: nad00251

OpenAIは推論モデル「o1」をリリース、GPTシリーズとは異なる製品ラインを形成、論理的な思考ができるモデルで知能が大きく向上

OpenAIは推論モデル「o1」をリリースし新たな市場を切り開いている。推論モデルとは人間のように論理的な思考ができるAIで、与えられたテーマを分類整理して、筋道を立てて結論を導く機能を持つ。科学や数学やコーディングで高度な機能を発揮するが、政治や経済など社会生活に関連する分野でも論理的な議論を展開する。GPT-4oなどGPTシリーズは汎用的な機能を提供するが、o1は複雑なタスクを実行でき科学技術分野に強みを発揮する専用モデルとなる。実際に使ってみると両者の違いが際立ち、o1はインテリジェンスが強化されていることを実感する。

出典: OpenAI

製品概要

OpenAIは推論モデル「o1-preview」とその小型版「o1-mini」をリリースした。これらは製品化前のプレビュー版で、未完成のモデルであるが推論機能を体験することができる。「o1」はGPTシリーズとは異なる新たな製品ラインを形成する。o1はインファレンスのプロセスを強化したモデルで、問われたことを即座に回答するのではなく、熟慮して最適な解を生成する。o1は複雑な問題を解決することに強みを発揮し、科学、数学、コーディングで高度な機能を示す。

推論機能を理解する

o1の基本機能は推論(Reasoning)で、問われたことを整理して、筋道を立てて解釈を進め、結論を引き出す。実際に、物理に関する問題を問うと、o1はこれを順序立てて考え解を導き出した(下の写真)。「カップにイチゴを入れて、これをひっくり返し、カップを電子レンジに入れると、イチゴはどこにあるか」との質問に、o1はこの質問をステップごとに解析し、回答にたどり着いた:

ステップ1:初期状態、カップにイチゴを入れる

ステップ2:カップをひっくり返す、イチゴはテーブルと接触

ステップ3:カップを取り上げる、イチゴはテーブルに留まる

結論:イチゴはテーブルの上にあり、電子レンジには入らなかった

o1はプロセスを順序立てて考察することで解を引き出すことができた。

出典: OpenAI

他のモデルはこの問題を解けない

この問題は人間にとっては常識であるが、大規模言語モデルはこれを解くことができない。OpenAIを含む主要企業のハイエンドモデルにこの問題を質問したが、どのモデルも正解を導くことができなかった。モデルの回答を纏めると:

  • OpenAI GPT-4:イチゴはひっくり返したカップの中にある (下の写真)
  • Google Gemini 1.5 Pro:カップをひっくり返すとイチゴはカップ内に留まる
  • Anthropic Claude 3 Opus:イチゴは重力で下に落ちるが、カップをひっくり返すとイチゴはカップ内に留まる

これらのモデルの推論の過程を検証すると、どのモデルも物理法則を理解しているが、これを実際のモデルに適用することができない。論旨は事実ではなくハルシネーションで、大規模言語モデルの限界を示している。

出典: OpenAI

言葉でコーディング

o1はコーディング機能が大きく進化し、言葉だけでプログラムを生成することができる。o1にビデオゲーム「Snake Game(ヘビゲーム)」をコーディングするよう命令すると、これに従ってプログラムを生成する。その際に、プログラム言語やゲームの仕様を指示すると、これらを正確に反映する。「Snake GameをHTMLをベースにJSとCSSでコーディングし、カーソルの操作をWASDキーで行う」と指示すると、ブラウザーで稼働するHTMLベースのゲームを生成した(下の写真上段)。これを実際にブラウザーで稼働させるとSnake Gameが起動した(下段)。

出典: OpenAI

トランプ政権の関税政策についてアドバイスを求めると

o1は政治経済に関する政策を論理的に解析する機能があり、経済政策を評価するツールとして使うことができる。トランプ次期大統領は中国からの輸入品に40%の関税を上乗せするとしており、この政策についてo1に意見を求めた(下の写真)。o1は関税の仕組みを説明し、この政策のメリットとデメリットについて評価し、結論を導き出した。米国が関税を中国との交渉の手段として使うことで、有利な条件を引き出せるが、国内で輸入品の価格が上がり、また、報復関税などデメリットが大きいと解析。o1は、関税を上乗せすることは実質的にマイナス面が大きいとして、この政策を見直すよう提言している。

出典: OpenAI

トランプ政権の関税政策に日本はどう備える

トランプ次期大統領は同盟国からの輸入品に10%から20%の関税を上乗せするとしており、o1に日本が取るべき対策について尋ねた(下の写真)。o1はアメリカの関税引き上げに対する日本が取るべき政策を10項目示し、これらのオプションを検討し多角的なアプローチが必要であると提言した。特に、外交による交渉を進めながら、他国と連携して世界貿易機関(WTO)に提訴する準備を推奨。また、(トランプ政権により日米関係は抜本的に変わるので)、新しい市場の開拓や貿易相手国を模索することも必要と助言した。

出典: OpenAI

o1の使い方

o1を使ってみると今までの大規模言語モデルとは特性が大きく異なる。従来モデルであるGPT-4oは、テキストやイメージやオーディオを生成するマルチモダルで、汎用的なプロセッサとなる。これに対し、o1は極めて高度な専門性を持ち、量子力学、遺伝子工学、ヘルスケア、経済学などの分野で複雑なタスクを実行できる。人間に例えると、GPT-4oは大学生のレベルで、o1は大学教授に匹敵し、専門分野の共同研究者として使うことができる。

推論機能を強化する手法

o1はGPT-4oなど他の言語モデルと同様にプレ教育されたモデルであるが、実行時に計算資源がアサインされ、インファレンスのプロセスを強化したモデルとなる。インファレンスの処理で即座に回答を生成するのではなく、与えられたタスクを解決するために熟慮するプロセスが追加された。具体的には、複数の解を生成し、これを検証して最適な解を選ぶ方式となる。実際に、「Snake Game」のコーディングでは、インファレンスに33秒の時間が費やされた。この方式は「Test Time Compute」と呼ばれ、実行時のプロセスが強化され、これにより高度な推論機能を得た。

大規模言語モデルの開発ペースが大幅にスローダウン!!OpenAIの次期モデルの性能が上がらない、開発戦略の見直しを迫られる

OpenAIは次期フラッグシップモデルを開発しているが、性能が上がらないという問題に直面した。次期モデルのコードネームは「Orion」といわれ、GPT-4の後継機種となる。当初は今年末までにリリースされるといわれてきたが、これが来年にスリップした。Orionは巨大なモデルであるが、規模を拡大してもそれに応じて性能が伸びない。生成AIモデルの性能が限界に達したという解釈もあり、この壁を乗り越えるためのイノベーションが求められる。

出典: Adobe Stock

OpenAIの次期フラッグシップモデル

OpenAIは次期モデルについて何も発表していないが、CEOのSam Altmanはこのモデルを近いうちにリリースすると示唆している。Xに「冬の星座が近いうちに上昇する」と書き込んだ(下の写真)。冬の星座は「Orion(オリオン座)」(上の写真)であり、そのリリースが近いことを暗示している。次期モデルのコードネームは「Orion」といわれ、今年中に公開されるとみられてきた。

出典: Sam Altman

性能が上がらない

Altmanは次期モデルは博士号取得者に相当する知能を持ち、現行のGPT-4から機能が大きく飛躍すると述べてきた。しかし、次期モデルの開発は9月に完了したが、目標の性能に到達することはできず、OpenAIはこのモデルの出荷を見合わせた。アメリカのメディアが報道した。GPT-3とGPT-4の間には大きな性能差があるが、GPT-4から次期モデルの間では大きな性能の伸びを達成できなかった。

性能が伸びない原因

次期モデルの性能が上がらない原因はアルゴリズムを教育するデータといわれている。モデルのプレ教育では、ソーシャルメディアや書籍やウェブページなどをインターネットからスクレイピングして使っている。しかし、公開されているデータの量や質には限りがあり、次期モデルの開発では高品質なデータを充分収集することができなかった。特にプログラムのコーディング機能に関しては問題は深刻で、次期モデルの性能はGPT-4と大きな違いはない。インターネット上のデータを使い尽くしたとも解釈される。

研究テーマ1:教育データ

OpenAIはこの問題を解決するためチームを創設し、性能向上のための技法を検討している。最大の原因が教育データの不足で、高品質なデータを取り揃えるための技法を模索している。その一つがデータを人工的に生成する手法で、合成データ(Synthetic Data)と呼ばれる。AIモデルでデータを生成し、これを次期モデルの教育で利用する。これからのAIモデル開発では合成データが主流になるとの予測もある(下のグラフ)。また、OpenAIは主要な出版社とライセンス契約を締結しており、これらの企業から高品質なデータの供給を受ける。

出典: Gartner

研究テーマ2:ポスト教育

OpenAIはプレ教育したモデルをファインチューニング(Fine-Tuning)することで性能を改良するアプローチを研究している。これはポスト教育と呼ばれ、プレ教育されたモデルを高品質なデータで再教育することで性能を上げる。また、人間がインストラクターとなり、モデルに正しい回答を教える。この手法は「Reinforcement learning from human feedback(RLHF)」と呼ばれ、現行モデルに適用されているが、このプロセスを強化する。

ベンチャーキャピタルの評価

OpenAIだけでなく他社モデルも含めて、大規模言語モデルの性能が限界に到達したとの解釈が広がっている。大手ベンチャーキャピタルAndreessen HorowitzのBen Horowitzは大規模言語モデルがスケーリングの限界(point of diminishing returns)に到達したと述べている。プロセッサGPUの性能は定常的に向上しているが、ここで開発されるモデルの性能が伸びないことは、原因はアルゴリズムにあるとの解釈を示している。

Googleのアプローチ

この問題に関し、言語モデル開発企業はAIモデルのボトルネックを考察し、これを改良する研究を進めている。Googleはモデルがデータから学習するメカニズムを解析し、人間のように少ないデータで効率的に学習する手法を研究している。アルゴリズムを最適化する手法は「ファインチューニング(Fine-Tuning)」と呼ばれ、プレ教育したモデルを再教育して、特定のタスクを効率的に実行させるために実施される。これに対し、Googleはプレ教育を効率的に行うため、モデルの構造自体を最適化するアプローチを取る。これは「ハイパーパラメータ・チューニング(Hyperparameter Tuning)」といわれ、トランスフォーマの構造を改良する作業となる。(下の写真、トランスフォーマの基本構造)

出典: AIMultiple

スケーラビリティの壁を乗り越える

大規模言語モデルはスケーラビリティを示してきたが、2024年は規模を拡大しても性能が伸びないポイントに差し掛かっている。この状況を打開するには、規模拡大というアプローチだけでなく、モデルの構造を最適化する手法や、ファインチューニングの新技術を模索するなど、新たな研究開発が求められる。スケーラビリティの壁を乗り越えるため、2025年はAI開発でイノベーションが求められる年となる。

トランプ氏圧勝・アメリカは変わった!!第二次政権でハイテク政策はどうなる、規制緩和でイノベーションが加速か、日本経済への影響は

アメリカ大統領選挙は大接戦と言われてきたがトランプ氏が圧勝した。国民の過半数が米国第一主義を支持し、この四年間で国民の総意が大きくシフトした。もはや今までの常識は通用せず、新しいパラダイムの元で事業を展開する必要がある。ハイテクに関しては、アメリカ国内で政策が大きく見直され規制緩和に向かう。日本や欧州へのインパクトも大きく、構築された関係が見直され、今後の協調のありかたを模索することになる。

出典: AP

巨大テックのスタンス

巨大テック経営者は一斉に、トランプ氏に祝意を示し、新政権と協調していく姿勢を示した(下の写真)。トランプ氏は選挙戦でハイテク政策に言及することは無かったが、規制を緩和することでイノベーションを促進する方向に進むとみられている。AI政策も例外ではなく、規制が緩和され技術開発が急進する勢いとなった。巨大テックやスタートアップ企業にとっては望ましい方向であるが、トランプ氏の発言がどう政策に反映されるのか不透明な部分は大きい。

出典: Jeff Bezos

ハイテク政策はどうなる

トランプ氏はハイテク政策に関し明確な意思表明をしていないが、共和党シンクタンクなどが政策を提言している。これは「Project 2025」と呼ばれ、トランプ第二次政権の政策を包括的に提示している(下の写真)。ハイテクに関しては、AI、量子コンピュータ、次世代通信技術/5G、次世代製造技術、バイオテクノロジーに関する政策に言及。AIに関しては、国家安全保障の観点から、中国を念頭に、AI先進技術を敵対国に輸出することを厳しく制限することを求めている。また、AIなど高度な技術が盗用されることを防ぐため、安全技術の開発を提言している。

出典: The Heritage Foundation

イノベーション推進

Project 2025はAIの安全性を求めると同時に、技術開発におけるイノベーションを推進することを提言している。これは「Tech-Neutral Approach」と呼ばれ、先進技術の開発を優先し、規制を最小限に留めるよう求めている。AI開発においては、政府の規制を最小限とし、企業による自主規制を推奨している。新政権がこの提言を採用するかどうかは見通せないが、基本路線としてはトランプ氏のビジョンに沿っている。トランプ政権がAI開発を後押しすることで、技術開発が急進する。

反トラスト法の運用を緩和

トランプ政権では反トラスト法の運用を緩和する方向に進むとみられている。バイデン政権では司法省がGoogleをインターネット検索や広告事業で反トラスト法に違反する疑いがあるとして提訴し、連邦地方裁判が司法省の主張を認める判決を下した(下の写真)。司法省はこの判決を受け、Googleを解体するなどの指針を示している。また、連邦取引員会(Federal Trade Commission)はMetaやAmazonを反トラスト法違反で提訴している。トランプ政権は、反トラスト法の厳格な運用方針を緩め、企業が自由に事業を展開できる方向に進む公算が大きい。

出典: Google

ソーシャルネットワーク

トランプ第一次政権はソーシャルネットワークTikTokを安全保障の観点から米国での事業を禁止する指針を打ち出した。バイデン政権では、連邦議会がTikTokの米国における事業を禁止する法令を可決した。トランプ氏は先の政策を翻し、TikTokの事業継続を認めると発言している。TikTokにとってはトランプ氏によりビジネス存続の危機を救われた形となった。一方、トランプ氏や共和党議員は、ソーシャルネットワークが保守系の意見を制限しているとして、Facebookなどに自由に発言できるよう求めている。ソーシャルネットワークはリベラルに偏重しているとして、Metaなどへの圧力が高まることが予想される。

暗号通貨

トランプ氏は暗号通貨をサポートするポジションを示し、選挙戦で暗号通貨企業や個人から絶大な支持を受けた。連邦議会下院議員の選挙では、暗号通貨をサポートする議員が相次いで当選し、暗号通貨コミュニティの影響力を示した。バイデン政権では証券取引委員会(Securities and Exchange Commission)が暗号通貨を規制する政策を展開しているが、トランプ政権ではこれを緩和する方向に進むとみられる。暗号通貨の取引が活発になることを見越して、ビットコインなど暗号通貨の価格が急上昇している。

出典: Adobe Generated with AI

シリコンバレーのムード

巨大テックの経営者はいち早く、トランプ氏と接触し協調していく姿勢を示した。また、スタートアップ企業は規制緩和で企業買収などが進み、ビジネスが活性化すると期待している。シリコンバレーはリベラルな文化で、トランプ氏を支援することはタブー視されてきた。しかし、企業の価値判断は事業収入で、個人の思想と相いれない部分があるものの、トランプ第二次政権と良好な関係を構築するための準備を進めている。

日本や欧州へのインパクト

トランプ新政権も米国第一主義を基軸政策とすることで、欧州や日本への影響が甚大となる。トランプ氏は自国の製造業を保護するため、同盟国からの輸入品に10%から20%の関税を課す方針を示しており、影響は避けられない情勢となっている。ハイテク分野においては、AIに関し同盟国と協調して安全技術の開発を進めてきたが、この方向性が不透明となった。

出典: Adobe Generated with AI

アメリカが変わった

2016年の大統領選挙では所謂MAGAサポータの支持で当選したが、今年はアメリカ国民の過半数がトランプ氏の政策に共鳴した。トランプ氏は異端者ではなく、アメリカ国民が米国第一や保護主義を基本理念する政策を望んでいる。バイデン政権は同盟国と協調する路線を歩んできたが、これが否定され、アメリカは自国優先の閉じた社会に向かうことになる。アメリカが大きく変わった。

出典: Adobe Generated with AI

オープンソースAIの定義が決まる、ソースコードの他にデータを開示する義務を規定、Meta Llamaをオープンソースと呼べない!!

オープンソース管理団体「Open Source Initiative (OSI)」は、10月28日、AIに関するオープンソースの定義を公開した。Linuxに代表されるように、ソフトウェアに関するオープンソースの定義は確定し、共通の理解が形成されている。しかし、生成AIを中心とするAIはソフトウェアとは構造が大きく異なり、オープンソースについての議論が続いていた。異なる定義が混在し市場が混乱していたが、OSIの発表によりオープンソースAIの位置づけが明確になった。しかし、Metaはこの定義を受け入れることはできないとして議論が再燃した。Metaは生成AIモデル「Llama」をオープンソースとして事業を構築しているが、この戦略の見直しを迫られる。

出典: Open Source Initiative

オープンソース・ソフトウェアとは

OSIはソフトウェアに関するオープンソースを「The Open Source Definition」として定義している。これによるとオープンソースのコンセプトは、ソフトウェアを自由に利用、改造、再配布できるものと定めれられている。この代表がLinuxでソフトウェアを無償で利用することができ、また、そのソースコードを自由に改造し、それを製品として販売することができる。これにより、誰もがソフトウェアの恩恵を受けることができ、また、技術開発が進むと期待される。

オープンソースAIの定義

これに対しOSIは新たにAIに関するオープンソースの定義「The Open Source AI Definition」を制定した(下の写真)。この理由は、AIはソフトウェアとは構成が大きく異なり、前述のThe Open Source Definitionを適用することができない。AIも広義のソフトウェアであるが、コードが単独で稼働するのではなく、データと密接に関連し、またシステム構成やそのパラメータが重要な役割を担う。AIオープンソースの定義は、これら要件を包括した内容となっている。

出典: Open Source Initiative

オープンソースAIの定義の概要

OSIによるオープンソースAIはデータ、コード、パラメータの三つのエレメントを含むと定義している。ソフトウェアのオープンソースはコードだけであるが、AIのケースではデータとパラメータが加わる。具体的には:

  • データ(Data Information):モデルの教育で使ったデータに関する詳細な情報。データの出典やデータにアクセスする手法などを公開する義務
  • コード(Code):モデルに関するソースコード。モデルを生成するためのコードの他に、モデルを教育及び実行するためのコードを公開する義務。AIモデル自体だけでなく、それを開発・運用するための一連のコードの公開を求めている。
  • パラメータ(Parameters):モデルの重み(Weights)や設定情報。重みとはモデルの挙動を決定する数値で、トランスフォーマではQuery、Key、Valueなどの値となる。AIモデルを教育することで重みなどを決定するが、これらを公開することを求めている。

コードとデータとパラメータの重要性

ソフトウェアではソースコードを公開することで、機能を理解しこれを改造して新たなソフトウェアを生成できる。これに対し、AIではソースコードを公開するだけでは、AIモデルを稼働させることができない。更に、ソースコードだけでは、これを改造して新たなモデルを生成するために多大な労力を要す。AIモデルを教育するためのデータと、その結果であるパラメータの公開が不可欠で、コードとデータとパラメータが対になり、AIシステムを再構築し、これをベースに新たなモデルを開発することができる。

米国政府はオープンソースAIを推奨

米国連邦政府の機関である取引委員会(Federal Trade Commission、FTC)はオープンソースAI普及を後押ししている。FTCは独自の見解を示し、AIがオープンソースであるためには、モデルのソースコードと重み(Weights)の公開が最低条件であるとしている。上述のコードとパラメータの公開を求めているが、データについては定義に加えていない。FTCはこれを「Open-Weights Foundation Models」と呼び、コードと重みの公開で技術開発が進むと期待している(下の写真)。

出典: Federal Trade Commission

Metaのオープンソース戦略

多くの企業が生成AIモデルを“オープンソース”として公開し、コミュニティの技術開発を支援している。Metaは生成AIモデル「Llama」を開発し、そのコードとパラメータを公開し、“オープンソース”としてリリースした。企業や個人はこのモデルを自由に使うことができ、コードを改造してビジネスや研究を進めることができる。OSIの定義によると、オープンソースと名乗るためには、コードとパラメータだけでなく、データの公開が必須となる。MetaはLlamaに関するデータを公開しておらず、オープンソースの定義を満たすことができない。このためMetaはOSIとの折衝を続け共通の理解を見つけるとしている。

オープンソースの危険性

生成AIをオープンソースとして公開することに関し、技術進化に寄与するという意見と、安全保障が脅かされるという意見があり、議論が続いている。特に、ハイエンドモデルは高度な機能を持ち、敵対国や攻撃集団がこれを悪用して、生物兵器などの開発で使われることが懸念される。また、生成AIを使ったサイバー攻撃が現実問題となり、国家安全保障の観点から重大なリスクを抱えることになる。

企業のオープンソース戦略

これに対し、企業は危険性を回避するため、ハイエンドモデルはクローズドソースとして運営し、ローエンドモデルだけをオープンソースとして公開する戦略を取る。Googleは、ハイエンドモデル(Gemini)はクローズドソースとして非公開で運用し、ローエンドモデル(Gemma)をオープンソースとして公開している(下の写真)。事業モデルの観点からは、ハイエンドモデルをビジネスの収益源とし、ローエンドモデルでエコシステムを拡大する。OSIの定義で統一した理解が形成されつつあり、Googleなど主要企業はオープンソースという名称を「オープンモデル(Open Models)」に変更し、その違いを明らかにしている。

出典: Google

現行の生成AIモデルは欧州の規制法「AI Act」に準拠できない!!コンプライアンス・チェッカー「COMPL-AI」の評価結果

EUはAIを安全に運用するための法令「AI Act」の運用を開始し、域内で事業を展開する企業はこの規定に従うことが義務付けられた。AI Actは複雑な法体系で、これを読み下し、AIシステムを評価するには、多大なコストと時間を要す。欧州の研究団体はモデルがAI Actに準拠しているかを審査するツール「コンプライアンス・チェッカー」を開発した。実際に、OpenAIやGoogleなど主要企業の製品をコンプライアンス・チェッカーで評価すると、AI Actに準拠できないことが判明した。生成AIに関する条項は来年8月に発効し、それまでに各企業はモデルの最適化など対策が求められる。また、生成AIモデルを改造して提供する際にもこの規定が適用され、生成AIを組み込んだシステムを開発する企業も対象となり注意を要す。

出典: Adobe Generated with AI

コンプライアンス・チェッカー

欧州の研究団体は生成AIモデルがAI Actに準拠するかどうかを査定するプラットフォーム「COMPL-AI」を公開した(下の写真)。これは法令のコンプライアンス・チェッカーとして機能し、生成AIモデルが法令の条項をクリアできるかどうかを審査する。COMPL-AIはオープンソースとして公開され、誰でも自由に生成AIモデルを評価することができる。EU域内で生成AIモデルを使って事業する企業はこのツールでシステムが法令に準拠しているかどうかを把握できる。

出典: compl-ai

コンプライアンス・チェッカーの仕組み

COMPL-AIはAI Actに関するコンプライアンスを評価する最初のフレームワークとなる。COMPL-AIはAI Actに規定されている条項を理解し、これを技術要件に変換し、それらをベンチマークテストを実行して、AIシステムのコンプライアンスを評価する構成となる(下の写真)。ベンチマーク結果は評価レポートとして出力され、AIシステムがAI Actの規定に準拠している部分と、そうでない部分を特定する。

出典: compl-ai

生成AIモデルの判定結果

COMPL-AIは、Anthropic、OpenAI、Meta、Googleなど主要企業の生成AIについて評価を実施しその結果を公開した。評価結果は1.00満点で示され、Claude 3 OpusやGPT-4 Turboは0.89と高い成績を示したが、AI Actの規定に準拠できない機能があることが分かった。また、Googleが提供するGemma-2-9bは0.72とコンプライアンスの度合いが低く、モデルにより大きな隔たりがあることが分かった。(下のグラフ、COMPL-AIの評価結果をAIで可視化)

出典: VentureClef Generated with AI

AI Actが規定する技術要件

COMPL-AIはAI Actが規定する条項に生成AIモデルが準拠しているかどうかを判定する。AI ActはAIシステムが準拠すべき条件を六つの領域に分類している(下の写真):

  • Human Agency & Oversight:人間の自主性を尊重、AIシステムは人間が制御し監視する
  • Technical Robustness and Safety:安定性と安全性、AIシステムはサイバー攻撃やエラーに対する耐性が高いこと
  • Privacy & Data Governance:プライバシーとデータ管理、教育データは著作権を尊重し個人情報を保護すること
  • Transparency:透明性、AIシステムは判定に関する説明機能やトレース機能を持つこと
  • Diversity, Non-discrimination & Fairness:多様性・平等・公平性、AIシステムは差別やバイアスによるインパクトを最小とすること
  • Social & Environmental Well-being:社会と環境のウェルビーイング、持続可能なAI開発を推進すること
出典: compl-ai

技術要件とベンチマーク

COMPL-AIはこれらAI Actが規定する六つの領域において、規制法の条項を技術要件「Technical Requirement」として抽出し、これに関連するベンチマークを特定する(下の写真)。ベンチマークは公開されているモデルを使い、技術要件とベンチマークを紐づける。AIモデルに対しこれらのベンチマークを実行し、その結果でコンプライアンスを評価する。例えば、「Technical Robustness and Safety」という項目では、技術要件が「Robustness and Predictability」となり、これを評価するベンチマークとして「MMLU:Robustness」などが使われた。

出典: Philipp Guldimann et al

評価結果レポート

COMPL-AIはAI Actが規定する六つの領域においてAIモデルがこれらに準拠しているかを評価する。上述の「Technical Robustness and Safety」においては、モデルの安定性と安全性に関し、AI Actの規定に合致しているかを検証する(下の写真)。AI Actはこの領域において三つの規定を設けており、COMPL-AIはAIモデルをこの技術要件から評価する。実際の評価では、業界の標準ベンチマークテストが使われ、その結果が評価基準として使われる。

出典: compl-ai

生成AIモデルのコンプライアンス状況

COMPL-AIは現行の生成AIモデルの評価結果を公開したが、AI Actに準拠できない項目があることが判明した。世界で幅広く利用されている生成AIモデルであるが、AI Actの規定に準拠するには最適化など、更なる開発が求められる。総評としては:

  • 準拠できない項目:現行の生成AIモデルはAI Actに準拠できない規定がある。サイバーセキュリティや公平性のベンチマークでは達成度は50%。攻撃への耐性強化などが求められる。
  • 有害なコンテンツ:一方で、多くのAIモデルは有害なコンテンツの出力を抑制する機能についてはAI Actの規定に準拠できる水準に達している。
  • 規定を明確にする必要性:著作権保護やプライバシー保護の規定に関しては、AI Actの規定が明確でなく、定義を明確にする必要がある。

AI Actの生成AI規制条項

AI Actでは生成AIは「General-Purpose AI (GPAI)、汎用AI」と定義され、安全に運用するための規定が制定された。生成AIは幅広いタスクに適用されるため「汎用AI」として定義され、その開発や運用において、モデルの情報を開示することが義務付けられている。生成AIが準拠すべき条件については「Codes of Practice」に記載されるが、この規定についてはまだ検討が続いている。汎用AIについては、一般からのコメントを参考に、2025年5月に最終決定される。

オープンソースのコンプライアンス・チェッカー

COMPL-AIはAI Actだけでなく、米国や日本で制定されるAI規制法のコンプライアンス・チェッカーに応用できると期待されている。米国ではこれからAI規制法の整備が急速に進む状況で、生成AIモデルのコンプライアンスを評価するツールが求められる。Googleなどの大手企業は独自のツールを整備しているが、一般企業は、COMPL-AIを利用することでモデルのコンプライアンスを評価できる。企業経営者にとって動きが激しいAI規制法に準拠できるかが最大の懸念材料で、オープンソースのコンプライアンス・チェッカーの役割に注目が集まっている。

出典: Adobe Generated with AI