ChatGPTなど大規模言語モデルは人間レベルの言語能力を持ち、利用が急拡大しているが、アルゴリズムが内包する危険性が社会問題となっている。大規模言語モデルが大量破壊兵器の制作方法を開示するなど、危険情報や偽情報を生成し、事業で利用するにはリスクが高い。NvidiaはChatGPTなど大規模言語モデルを安全に運用するツール「NeMo Guardrails」を開発し、これを一般に公開した。

出典: Nvidia

NeMo Guardrailsとは

「NeMo Guardrails」は大規模言語モデルの暴走を防ぐための「ガードレール」で、アルゴリズムは指定された範囲内で稼働し、危険情報の出力が抑止される。これにより、ChatGPTなど言語モデルを安全に運用でき、企業がビジネスで導入することが可能となる。NvidiaはNeMo Guardrailsをオープンソースとして公開しており、誰でも自由に利用できる。

ガードレールとは

NeMo Guardrailsは大規模言語モデルと連携して使われ、アルゴリズムが規定された範囲内で安全に稼働する仕様となる(下のグラフィックス)。ChatGPTなど高度な言語モデルをサポートしており、企業がビジネスで安全に利用することを前提に開発された。NeMo Guardrailsはモデルの暴走を三つの手法で抑止する：

• トピックス：モデルは指定された業務だけを処理する
• 安全性：モデルは有害な言葉をフィルターする
• セキュリティ：モデルはサイバー攻撃を防御する

出典: Nvidia

ガードレール１：トピックス

このガードレールは「Topical guardrails」と呼ばれ、モデルは指定されたトピックスだけを処理し、それ以外の危険な領域には立ち入らない。例えば、企業がChatGPTを製品に関するチャットボットとして使用する際には、顧客が製品以外の問い合わせをした場合は、解答を生成しない。顧客がチャットボットと非倫理的な会話を進めることを防ぐ狙いがある。

ガードレール２：安全性

このガードレールは「Safety guardrails」と呼ばれ、モデルは出力する情報から有害情報をフィルターする。また、ガードレールは、出力する情報の参照先を確認し、正確な情報だけを生成する。悪意ある利用者が大規模言語モデルから危険情報を引き出すインシデントが後を絶たないが、ガードレールはこの攻撃を防御する。(下のグラフィックス、ChatGPTは問われたことをもっともらしく説明するが情報は間違っているケース。)

出典: OpenAI

ガードレール３：セキュリティ

このガードレールは「Security guardrails」と呼ばれ、モデルがマルウェアを実行することを防ぎ、また、外部サイトの危険なアプリに接続することを抑止する機能を持つ。大規模言語モデルが社会に普及するにつれ、これを対象とするサイバー攻撃が重大な問題となっている。これは「LLM-Based Attacks」と呼ばれ、言語モデルの脆弱性を攻撃するもので、ガードレールがこれを防御する。

ガードレールの動作原理

ガードレールは利用者と大規模言語モデルの中間に位置し、ファイアウォールとして機能する。ガードレールは利用者の入力を解釈し、それに合わせてガードレールを生成し、解答を生成する構造となる(下のグラフィックス)。ガードレールはプログラムできるモジュールで、運用に合わせて最適な機能を定義する構造となる。企業は大規模言語モデルをビジネスに組み込み、ガードレールの最適な機能を設定して利用する。

出典: Nvidia

オープンソースと製品

ガードレール「NeMo Guardrails」はオープンソースとしてGitHubに公開されており、だれでも自由に利用できる。企業はこのオープンソースを使って、独自のモデルを生成することができる。また、Nvidiaは生成型AIを開発するためのフレームワーク「NeMo Framework」を発表したが(下のグラフィックス)、ここにNeMo Guardrailsが組み込まれている。ChatGPTなどの危険性が社会問題になる中、モデルの暴走を抑止する技術が登場し、大規模言語モデルを安全に運用できると期待されている。

出典: Nvidia

金融情報サービス企業ブルームバーグ(Bloomberg)は、独自の大規模言語モデル「BloombergGPT」を開発した。これはChatGPTのコンセプトをフィンテックに適用したもので、金融情報を解析するために使われる。ChatGPTは汎用的な言語モデルであるが、BloombergGPTは金融情報処理に特化した構造で、AIが銀行業務に関するドキュメントを解析する。(下の写真、ブルームバーグは証券取引に関する情報を配信。)

出典: Bloomberg

BloombergGPTの構造

「BloombergGPT」は、名称が示している通り、大規模言語モデル「GPT」をベースとし、ブルームバーグの金融タスクを実行する専用AIとなる。GPTとは「Generative Pre-Trained」の略で、「プレ教育」した生成型AIを意味する。生成型AIは「Transformers」というモデルを使っており、OpenAIはこれをプレ教育して「ChatGPT」や「GPT-3」などを開発した。

BloombergGPTの機能

これに対して、ブルームバーグはプレ教育された生成型AIを使い、このモデルを大量の金融データで教育し、専用GPTである「BloombergGPT」を開発した。ブルームバーグは金融情報企業で、40年にわたる大量の金融関連データを保有しており、これを使ってアルゴリズムを教育した。これにより、BloombergGPTは金融に関する知識を獲得し、フィンテック市場で最も高性能なAIを生み出した。

利用方法

BloombergGPTは銀行業務などで金融情報を解析するために使われる。BloombergGPTは「デコーダー(Decoder)」というモデルで、入力されたテキストを解析し、そこに潜んでいる知識を引き出すために使われる。具体的には、入力されたテキストから、感情分析(Sentiment Analysis)、固有名詞の抽出(Named Entity Recognition)、質疑応答(Question Answer)などのタスクを実行する。これらは金融自然言語処理「Financial NLP」という機能で、多くの銀行で使われているが、BloombergGPTはこの処理で世界最大の精度を示した。(下の写真、金融関連記事を入力し、BloombergGPTがタイトルを生成する事例。)

出典: Bloomberg

システム構成

BloombergGPTはオープンソースの大規模言語モデル「Bloom」をベースに開発された。Bloomは一般に公開されており、このモデルを大量の金融データで教育した。ブルームバーグは教育のための大規模なデータベースを構築した。デーやベースは、金融関連データと一般データで構成され、それぞれの規模は：

• 金融関連のデータベース：3,630億トークン
• 一般情報のデータベース：3,450億トークン

トークンとは自然言語処理の最小単位を示し、ここでは単語の数となる。このように、BloombergGPTは合計で7,000億超のトークンで教育された大規模モデルで、金融処理に特化したAIであるが、一般情報を処理する機能を兼ね備えていることが特徴となる。

オープンソース「Bloom」とは

「Bloom」はオープンソース団体Hugging Faceにより開発された大規模言語モデルで、1760億個のパラメータから構成され、59の言語を処理する機能を持つ。OpenAIが開発した「GPT-3」は1350億個のパラメータから成るが、これを上回り世界最大規模のオープンソースAIモデルとなる。Hugging FaceはBloomをオープンソースとして公開しており(下の写真)、企業や大学などが利用している。ブルームバーグはBloomをベースに、これを改造し、金融処理に特化したモデルを構築した。

出典: Hugging Face

ベンチマーク結果

BloombergGPTは言語処理のベンチマークで好成績を示した。BloombergGPTは金融タスクに特化した構成であり、金融処理でトップの成績を示した。(下のグラフ上段)。また、一般情報で教育されたモデルでもあり、汎用ベンチマークでOpenAIのGPT-3に次ぐ性能を示している。(下のグラフ下段)。BloombergGPTは一般的な言語処理で高度な性能を示し、これが金融処理で生かされていると考えられる。

出典: Bloomberg

業種に特化した”ChatGPT”

BloombergGPTは大規模言語モデルの将来動向に関し重要な指標を示した。OpenAIが開発するChatGPTは、特定の業種に特化することなく、汎用的にタスクを実行するモデルとなる。これに対し、BloombergGPTはファイナンスに特化したタスクを実行する構造で、フィンテック向けの専用モデルとなる。業種に特化すると、小さいモデルでも高度な性能を示し、この方式が注目されている。これからは、金融だけでなく、医療や教育やEコマースなど、業種に特化した”ChatGPT”の開発が進むと考えられる。

バイデン大統領はハイテク企業に、AIを出荷する前に、製品の安全性を確認するよう求めた。この声明に続き、米国商務省はChatGPTなど高度なAIモデルに関し、安全性の認証制度「Certifications」の導入準備を開始した。認証制度とは、AIの安全基準を制定し、これをパスした製品に、認定証書を付与する仕組みとなる。

出典: National Telecommunications and Information Administration

安全制度の概要

これは、米国商務省の電気通信情報局(National Telecommunications and Information Administration (NTIA))が発表したもので、「AIの説明責任政策 (AI Accountability Policy)」と呼ばれ(上の写真)、AIの安全性を保障する制度の構築を目標とする。これはクルマの型式認証に似た考え方で、クルマの販売では車両が安全規格を満たしていることが義務付けられるが、AIも同様に、出荷されるAIは安全規格を満たしていることが求められる。

パブリックコメント

この制度の構築に向け、NTIAは一般から意見を求める通達を公開した。企業や利用者から寄せられたパブリックコメントを参考に、制度の在り方を決めていく。NTIAはバイデン大統領の諮問機関で、この結論を元に、AI認証制度に関し大統領にアドバイスをすることとなる。この助言を元に、バイデン政権は連邦議会に働きかけ、法令の制定を進めることが最終ゴールとなる。

認証制度の素案

NTIAは、AIが安全であることを保障する認証制度の素案を示し、これに対してコメントを求めている。NTIAが提示した認証制度の素案は三つのステップから構成される：

• 監査(Audits)：検証のためにAIシステムの情報を得る
• 検証(Assessments)：得た情報を審査し安全基準を満たすかどうかを判定
• 認証(Certifications)：安全基準を満たすAIに証明書を発行

AIの安全性を認証することで、高度なAIが利用者から信頼を得ることになる。

認証制度の論点

NTIAはこの構想に関してパブリックコメントを求めているが、論点を整理し、検討すべきポイントを明らかにした(下のグラフィックス)。認証制度が機能するためには、利用者が安全にAIを利用できるだけでなく、高度なAIを開発する企業にとってもメリットがあることが重要となる。NTIAが提示した論点は次の通りで、これらの点を中心に意見を求めている：

• 検査方法：何を検証すれば信頼で安全と言えるか
• データ：どのデータを使って検証するか
• インセンティブ：この規格を導入するインセンティブ
• アプリケーション：業種間で利用法が異なるAIをどう検証するか

出典: National Telecommunications and Information Administration

連邦省庁の動き

米国では連邦政府によるAIを規制する法令は無いが、各省庁は既存の法令に従ってAIの運用を監視する施策を取っている。その中心が連邦取引委員会(Federal Trade Commission)で、反トラスト法に基づく不公正な競争の制限と、消費者保護の推進を任務としている。消費者保護では、AIの危険性から消費者を守ることを重点的に進めており、アルゴリズム利用に関するガイドラインを発表し、不公正な利用を現行法令で取り締まる。

連邦議会の動き

チャットボットChatGPTが社会で急速に普及し、連邦議会でAI規制に向けた機運が高まっている。カリフォルニア州の下院議員Ted Lieuは、AIの危険性を認識し、議会はAIを規制するための行動を起こすことを呼び掛けている。また、コロラド州の上院議員Michael Bennetは、高度なチャットボットが子供たちに有害な助言をしている事実を指摘し、ハイテク企業に対応を求めている。国会議員はAIの威力を認識し、同時にAIの脅威を実感しており、AI規制に関するアクションを求めている。

OpenAIの安全対策

ChatGPTなど高度なAIを生み出しているOpenAIは、政府にAIを規制するための法令を整備するよう求めている。OpenAIはブログで安全性に関する取り組みを公表し(下のグラフィックス)、ChatGPTなど高度な言語モデルが、危険な情報を出力しないための措置を公表した。同時に、政府はAI企業が順守すべきベストプラクティスを示し、開発と運用のガイドラインの制定を求めている。これに先立ち、OpenAIはAI規制について政府と協議していることを明らかにしている。

出典: OpenAI

電気通信情報局「NTIA」とは

NTIAは商務省配下の組織で、通信や情報技術に関し、大統領に政策をアドバイスすることをミッションとしている。NTIAはブロードバンドの普及や５Gなど無線通信の周波数管理に関する政策の立案を支えてきた。NTIAは、信頼できるAIを普及させることが、イノベーションを生み経済振興につながると理解している。バイデン政権はNTIAの答申を受け、連邦議会と協調してAI規制の法制化を進める。

高度な会話型AI「ChatGPT」の利用が急拡大する中で、社会に及ぼす危険性が顕著になってきた。バイデン大統領は声明を発表し、AIを開発する企業に対し、モデルをリリースする前にその安全性を確認することを求めた。事実、開発企業は検証が終わる前にAIをリリースし、我々消費者が危険性を指摘する形態になっている。バイデン大統領はこの仕組みを見直し、AI企業が責任を持って最終検証することを求めた。

出典: White House

バイデン大統領の会見

バイデン大統領は、科学技術諮問委員会「President’s Council of Advisors on Science and Technology」の冒頭でAIに関する所信を表明し(上の写真)、AIは気候変動対策などで社会に多大な恩恵をもたらすが、同時に、AIは社会や国家安全保障や経済に危険をもたらす可能性があることを認識する必要があると述べた。ハイテク企業は、AIを出荷する前に、その安全性を確認する責任があるとの考え方を示した。

AI権利章典

ホワイトハウスはこれに先立ち、AIからアメリカ国民の権利を守るための章典「Blueprint for an AI Bill of Rights」を公開した。これは「AI権利章典」と呼ばれ、AIが社会に普及する中で、アルゴリズムのバイアスなどに起因し、国民が持つ権利が侵害されており、章典はこれを守るための基本指針を定義している。バイデン大統領は、声明の中で、ハイテク企業はAI権利章典の趣旨に沿って、信頼できるAIを開発することを促した。

OpenAIの安全性対策

ChatGPTなど高度な言語モデルを開発しているOpenAIは、声明の翌日、AIの安全対策「AI Safety」に関する指針を公開した。OpenAIは、この指針の中で、高機能なAIを開発しているが、アルゴリズムは安全で社会に恩恵をもたらすことを、会社をあげて取り組んでいると記している。

出典: OpenAI

安全性を確認するプロセス

そのために、OpenAIは安全性を担保するための機構を、システムの各レベルに実装している。OpenAIはその安全機構について具体的な事例をあげて説明している。出荷前に安全性を検証するプロセスは次の通りとなる：

• 社内で徹底して危険性を洗い出す
• 社会の専門家に検証を依頼
• アルゴリズムの挙動を改良
• 広範に安全性とシステム運用を監視

アルゴリズムの挙動を改良

この中で「アルゴリズムの挙動を改良」するプロセスでは、人間が関与し、AIの挙動を改良する技法を導入している。これは「Reinforcement Learning from Human Feedback (RLHF)」と呼ばれ、AIの回答を人間が評価し、それをモデルにフィードバックすることで、アルゴリズムが正しく回答できるようになる。これは強化学習(Reinforcement Learning)というモジュールで構成され、AIが正しく回答するスキルを学習する。

GPT-4のケース

OpenAIは、世界最大規模の言語モデル「GPT-4」について、その安全性検証のプロセスを明らかにした。OpenAIは、GPT-4の開発(アルゴリズムの教育)を終了してから6か月間にわたり、外部の組織と共同で、安全性の検証と、回答結果が社会の倫理に沿っているかの検証を進めてきた。社内の規定に沿って安全性を判定したが、OpenAIは政府による安全性のガイドラインの設立が必要で、AI規制の導入を求めた。

実社会での検証が必須

OpenAIは、社内で厳格な安全性確認作業を進めるが、これだけでは十分でなく、実社会でAIを検証することが必須としている。人々がAIをどのように活用するか、また、AIをどのように悪用するかについては、製品をリリースしないと理解が及ばない。このため、AIをリリースして、社会と協調しながら、AIの安全性を強化していく手法が重要としている。このために、OpenAIは高度なAIの機能を制限し、徐々にリリースする作戦を取っている。(下の写真、ChatGPTの初期画面で一般に無料で公開されている)

出典: OpenAI

プライバシー保護について

OpenAIは個人のプライバシーを保護している仕組みについて説明した。言語モデルは大量のデータで教育されるが、それらは下記のリソースが使われた：

• インターネットに公開されているデータ
• ライセンスを得たデータ
• 検証者が入力したデータ

これらのデータを使って大規模なアルゴリズムを教育するが、インターネットに公開されているデータには、個人情報が含まれており、AIは特定個人についての知識を得る。これにより、個人情報がリークすることになる。これを防ぐために、OpenAIは次の対策を講じている：

• 教育データから個人情報を取り除く
• アルゴリズムが個人情報を出力しないように改良する
• 利用者からの個人情報削除に関する要求にこたえる

出力データの正確性

大規模言語モデルは、間違った情報を回答するケースが少なくなく、出力データの精度が問題となっている。これはOpenAIに特化した問題ではなく、言語モデルが抱える共通の課題である。OpenAIはこれを最大の開発テーマと位置付け、アルゴリズムの改良を進めている。ここでは、利用者のフィードバックが重要で、これをもとにアルゴリズムを改良する。これにより、GPT-4の精度は各分野で大きく向上したとしている(下のグラフ、正解率を示したもので緑色がGPT-4)。

出典: OpenAI

アメリカ社会が試験場

OpenAIは、もはや社内で100％安全なAIを開発することは不可能で、最終確認は一般利用者と共同で進める法式が現実的であると主張する。消費者がテスターとなり、危険性をフィードバックする。これに対し、バイデン大統領は、ハイテク企業は安全確認を終えてから、信頼できるモデルを出荷すべきと要求する。バイデン政権は国民の権利を守ることを第一義とするが、巨大テックは技術開発を優先し、アメリカ社会が大規模言語モデルの試験場となっている。