カテゴリー別アーカイブ: 人工知能

Googleは開発者会議で大規模言語モデル「PaLM 2」を発表、生成AIの開発戦略が明らかになる

Googleは開発者会議「Google I/O」を開催し、大規模言語モデルの最新版「PaLM 2」を公表した。これは生成AIで、チャットボット「Bard」のエンジンとして使われる。また、Googleはクラウド経由でPaLM 2を公開し、企業はAPIでこれにアクセスし、独自の生成AIを開発することができる。更に、Googleは次世代の生成AIとして「Gemini」を開発していることを明らかにし、AIで市場をリードする姿勢をアピールした。

出典: Google

最新の言語モデル「PaLM 2」

Googleは大規模言語モデルの最新版「PaLM 2」を発表した(上の写真)。PaLM 2は「PaLM」をベースとし、これを改良したもので、機能が大きく進化し、実行時の処理速度が向上した。具体的には、PaLM 2は三つの分野で際立った特性を示す:

  • 多言語に対応:PaLM 2は100を超える言語を処理する機能を持つ。言語を理解する技能は人間のマスターレベルに到達。
  • 推論機能が大きく向上:PaLM 2はテキストだけでなく、科学論文や数学などで教育され、その結果、論理的な思考、常識に基づく推論、数学を解く技量が大幅に向上(下のグラフィックス)。
  • プログラミング技術の進化:PaLM 2はオープンソースのコードで教育され、Pythonなどでプログラムする機能を習得。この他に、PrologやFortranなど多言語に対応する。
出典: Google

ファウンデーションモデル

PaLM 2はAIのベースとなる「ファウンデーションモデル(Foundation Models)」として位置付けられ、ファウンデーションモデルとはAIの基本形で、様々なアプリケーションで利用される。例えば、PaLM 2はチャットボット「Bard」のエンジンとして使われ、高度な対話機能を提供する。PaLM 2はサイズ別に4つのモデルから構成される(下のグラフィックス)。これらはモデルの規模により分類され、小さいモデルから「Gecko」、「Otter」、「Bison 」、「Unicorn」と命名されている。最小モデルの「Gecko」はスマホで稼働するAIで、PaLM 2を限られた資源で実行できる。

出典: Google

PaLM 2を搭載した製品

PaLM 2は既に、Googleの製品に組み込まれている。その数は25に上り、Googleの事業の骨格を担っている。PaLM 2が実装されている主な製品は:

  • チャットボット「Bard」:PaLM 2を搭載したことでBardが多言語に対応する。日本語や韓国語向けのサービスを開始。また、プログラミング機能が格段に向上した。
  • ワークプレイス「Workplace」:GmailやGoogle DocsなどのビジネスツールにPaLM 2が実装され、文章を生成する機能などが向上。
  • ヘルスケア「Med-PaLM 2」:医療向けに最適化されたPaLM 2で、エキスパート医師のレベルの医療スキルを持つ。
  • セキュリティ「Sec-PaLM」:セキュリティ向けに最適化されたPaLM 2で、サイバー攻撃の危険性などを検知するために使われる。
  • クラウド「Vertex AI」:Googleは試験的にPaLMをクラウド経由で提供してきたが、PaLM 2を含めこれを一般に公開。PaLM 2のAPIで独自の生成AIを開発できる。
出典: Google

Bardの最新機能

チャットボット「Bard」のエンジンがPaLMからPaLM 2にアップグレードされ、その機能が大幅に向上した。Bardは対話だけでなくプログラミングの機能があり、エンジニアの人気ツールとなっている。PaLM 2を実装することで、プログラミング機能が拡充され、また、多言語に対応できるようになった。開発しているコード入力すると、Bardがそれをデバッグする。その際に、コードにコメントを挿入する機能が登場した。(下の写真、デバッグしたコードに韓国語でコメントを挿入した事例)。

出典: Google

医療向け言語モデル「Med-PaLM 2」

PaLM 2はファウンデーションモデルで、アプリケーションの基盤を構成するが、これを特定の業務ごとに最適化すると高度な機能を発揮する。GoogleはPaLM 2を医療データで再教育し、医療に特化したAIモデル「Med-PaLM 2」を開発した、Med-PaLM 2はエクスパート医師に匹敵するスキルを持ち、患者の治療で利用される。また、Med-PaLM 2はメディカルイメージングを解析する機能があり、問題点を特定するだけでなく、その理由を説明する機能がある。(下の写真、レントゲン写真を解析し、骨折の個所を特定するだけでなく、人間の医師のようにその判定理由を説明する。システムは開発中で写真はそのイメージ。)

出典: Google

クラウド「PaLM API」

PaLM 2は、Googleが製品に組み込むだけでなく、一般ユーザ向けにクラウドで提供される。GoogleはPaLMを試験的にクラウドで提供してきたが、今週から、最新モデルPaLM 2を含め、一般利用者に公開した。これらはAIクラウド「Vertex AI」の新機能として実装され、PaLM APIでモデルを利用する(下の写真)。企業はこのAPIを使ってPaLM 2の機能にアクセスする。また、企業はPaLM 2を独自のデータで教育し、業務に最適なモデルを生成できる。

出典: Google

次世代モデル「Gemini」

OpenAIがChatGPTを公開し米国社会でAIの普及が劇的に進んだ。MicrosoftはGPT-4を組み込んだ製品を相次いでリリースし、GoogleとのAI開発競争が始まった。GoogleはBardやPaLMを開発してきたが、その成果は一般には公開されなかった。しかし、Googleは開発者会議で、最新のAIを製品に統合し、その機能を一般にリリースする戦略を明らかにした。更に、PaLM 2の次のモデルとして「Gemini」を開発していることを公表し(下の写真)、GoogleはAI市場でトップの座を維持する姿勢を鮮明にした。

出典: Google

米国連邦議会はAI規制法に向けた準備を開始、ホワイトハウスは信頼できるAIを開発するための研究所を設立

米国政府は危険なAIから国民を守る政策を相次いで発表した。連邦議会はAIを安全に運用するための構想を明らかにした。国民の権利を守るため、開発企業にAIシステムの内部を公開し、責任ある運用を求める。また、ホワイトハウスは、信頼できるAIの開発に向けた政策を発表した。全米に7つの研究所を設立し、AIの安全性を含む先進技法を開発する。更に、ハリス副大統領は、GoogleやMicrosoftなどのCEOと会談し、AIの安全性を強化することを要請した(下の写真)。

出典: Vice President Kamala Harris @ Twitter

米国政府の動き

米国政府がAI規制に向けて動き始めたが、その背景にはChatGPTなど生成AIの急速な普及がある。アメリカ国民はAIの利便性だけでなく、その脅威を実感し、政府に安全対策を求めている。また、中国政府がAI規制を導入したが、これが警鐘となり、米国もAIの倫理的な運用を実行し、テクノロジーにおける指導的立場を維持すべきとの世論が優勢になってきた。

連邦議会のAI規制法案

これに応えるかたちで、上院院内総務であるチャック・シューマー(Chuck Schumer、下の写真)はAI規制のフレームワークを発表した。このフレームワークは四つのガードレールで構成され、AI開発企業に責任ある運用を求めている。具体的には、AI開発企業は製品を出荷する前に、独立機関でAIの検査を受け、その結果を一般に公開することを求めている。四つのガードレールはAIの透明性を求めるもので、その概要は:

  • Who:誰がAIのアルゴリズムを教育したのかを開示する。誰がAIの利用者であるかを明らかにする。
  • Where:教育で使ったデータはどこから来たのかその出典を開示する。
  • How:アルゴリズムがどのように判定を下したのかそのメカニズムを明らかにする。
  • Protect:AIがアメリカ国民の価値に沿っていることを保証する。
出典: U.S. Senate Democrats 

フレームワークの特徴

フレームワークは、AIシステムの内部を明らかにすることが、信頼できるAIに繋がると考える。これにより、AIを誤用することを防ぎ、また、AIが偽情報を生成し、アルゴリズムがバイアスする危険性を低減する。連邦議会はAIの透明性を担保することで、安全で信頼できるAIにつながるとの考え方を取る。この法案骨子は、今後数週間にわたり、大学や民間や政府関係者の意見を聞き、最終調整された後に、議会で審議されることとなる。

バイデン政権のAI政策

今週、ホワイトハウスは信頼できるAIを開発するための新たな政策を発表した。バイデン政権は国民から信頼されるAIを開発するために1億4000万ドルの予算を充て、全米に7つのAI研究所を設立する。このプロジェクトは「National AI Research (NAIR) Institutes」と呼ばれ、アメリカ国立科学財団(National Science Foundation, NSF)が指揮をとる。研究所はニューロサイエンスなど幅広い分野をカバーするが、その中心が信頼できるAI技法の開発となる。

出典: The White House 

AIの安全性の検証

また、ホワイトハウスはAI企業が製品を出荷する前にその安全性を保障することを要請している。これを受け、GoogleやMicrosoftやNvidiaなどは、大規模言語モデルを公開の場で検証し、その安全性を確認するプロジェクトを計画している。これは「Red Teaming」と呼ばれ、利用者がAIモデルを攻撃し、その脆弱性を把握する手法を取る。更に、政策面では、アメリカ合衆国行政管理予算局(Office of Management and Budget)がこの夏までに、連邦政府がAIを安全に利用するためのガイドラインを策定する。

米国政府はAI規制に向かう

ヨーロッパ諸国は域内のAIを統一的に規制する法律「AI Act」の最終調整を進めている。米国はAI規制で後れを取ってきたが、今年に入りAI規制を導入する動きが急進し、バイデン政権や連邦議会が一斉に動き出した。バイデン政権は、昨年は「チップ法」で半導体製造を国産化するための法律を可決した。今年は、AIの研究開発を支援する観点から、国民に信頼されるAIの普及を目指す。連邦議会は、中国政府に対峙し、国家安全保障を担保する観点から、AI規制を進める。

ChatGPTを安全に運用する技術、Nvidiaは大規模言語モデルの暴走を抑えるガードレールを開発

ChatGPTなど大規模言語モデルは人間レベルの言語能力を持ち、利用が急拡大しているが、アルゴリズムが内包する危険性が社会問題となっている。大規模言語モデルが大量破壊兵器の制作方法を開示するなど、危険情報や偽情報を生成し、事業で利用するにはリスクが高い。NvidiaはChatGPTなど大規模言語モデルを安全に運用するツール「NeMo Guardrails」を開発し、これを一般に公開した。

出典: Nvidia

NeMo Guardrailsとは

「NeMo Guardrails」は大規模言語モデルの暴走を防ぐための「ガードレール」で、アルゴリズムは指定された範囲内で稼働し、危険情報の出力が抑止される。これにより、ChatGPTなど言語モデルを安全に運用でき、企業がビジネスで導入することが可能となる。NvidiaはNeMo Guardrailsをオープンソースとして公開しており、誰でも自由に利用できる。

ガードレールとは

NeMo Guardrailsは大規模言語モデルと連携して使われ、アルゴリズムが規定された範囲内で安全に稼働する仕様となる(下のグラフィックス)。ChatGPTなど高度な言語モデルをサポートしており、企業がビジネスで安全に利用することを前提に開発された。NeMo Guardrailsはモデルの暴走を三つの手法で抑止する:

  • トピックス:モデルは指定された業務だけを処理する
  • 安全性:モデルは有害な言葉をフィルターする
  • セキュリティ:モデルはサイバー攻撃を防御する
出典: Nvidia

ガードレール1:トピックス

このガードレールは「Topical guardrails」と呼ばれ、モデルは指定されたトピックスだけを処理し、それ以外の危険な領域には立ち入らない。例えば、企業がChatGPTを製品に関するチャットボットとして使用する際には、顧客が製品以外の問い合わせをした場合は、解答を生成しない。顧客がチャットボットと非倫理的な会話を進めることを防ぐ狙いがある。

ガードレール2:安全性

このガードレールは「Safety guardrails」と呼ばれ、モデルは出力する情報から有害情報をフィルターする。また、ガードレールは、出力する情報の参照先を確認し、正確な情報だけを生成する。悪意ある利用者が大規模言語モデルから危険情報を引き出すインシデントが後を絶たないが、ガードレールはこの攻撃を防御する。(下のグラフィックス、ChatGPTは問われたことをもっともらしく説明するが情報は間違っているケース。)

出典: OpenAI

ガードレール3:セキュリティ

このガードレールは「Security guardrails」と呼ばれ、モデルがマルウェアを実行することを防ぎ、また、外部サイトの危険なアプリに接続することを抑止する機能を持つ。大規模言語モデルが社会に普及するにつれ、これを対象とするサイバー攻撃が重大な問題となっている。これは「LLM-Based Attacks」と呼ばれ、言語モデルの脆弱性を攻撃するもので、ガードレールがこれを防御する。

ガードレールの動作原理

ガードレールは利用者と大規模言語モデルの中間に位置し、ファイアウォールとして機能する。ガードレールは利用者の入力を解釈し、それに合わせてガードレールを生成し、解答を生成する構造となる(下のグラフィックス)。ガードレールはプログラムできるモジュールで、運用に合わせて最適な機能を定義する構造となる。企業は大規模言語モデルをビジネスに組み込み、ガードレールの最適な機能を設定して利用する。

出典: Nvidia

オープンソースと製品

ガードレール「NeMo Guardrails」はオープンソースとしてGitHubに公開されており、だれでも自由に利用できる。企業はこのオープンソースを使って、独自のモデルを生成することができる。また、Nvidiaは生成型AIを開発するためのフレームワーク「NeMo Framework」を発表したが(下のグラフィックス)、ここにNeMo Guardrailsが組み込まれている。ChatGPTなどの危険性が社会問題になる中、モデルの暴走を抑止する技術が登場し、大規模言語モデルを安全に運用できると期待されている。

出典: Nvidia

フィンテック向け”ChatGPT”、ブルームバーグは金融情報処理に特化した大規模言語モデルを開発

金融情報サービス企業ブルームバーグ(Bloomberg)は、独自の大規模言語モデル「BloombergGPT」を開発した。これはChatGPTのコンセプトをフィンテックに適用したもので、金融情報を解析するために使われる。ChatGPTは汎用的な言語モデルであるが、BloombergGPTは金融情報処理に特化した構造で、AIが銀行業務に関するドキュメントを解析する。(下の写真、ブルームバーグは証券取引に関する情報を配信。)

出典: Bloomberg

BloombergGPTの構造

「BloombergGPT」は、名称が示している通り、大規模言語モデル「GPT」をベースとし、ブルームバーグの金融タスクを実行する専用AIとなる。GPTとは「Generative Pre-Trained」の略で、「プレ教育」した生成型AIを意味する。生成型AIは「Transformers」というモデルを使っており、OpenAIはこれをプレ教育して「ChatGPT」や「GPT-3」などを開発した。

BloombergGPTの機能

これに対して、ブルームバーグはプレ教育された生成型AIを使い、このモデルを大量の金融データで教育し、専用GPTである「BloombergGPT」を開発した。ブルームバーグは金融情報企業で、40年にわたる大量の金融関連データを保有しており、これを使ってアルゴリズムを教育した。これにより、BloombergGPTは金融に関する知識を獲得し、フィンテック市場で最も高性能なAIを生み出した。

利用方法

BloombergGPTは銀行業務などで金融情報を解析するために使われる。BloombergGPTは「デコーダー(Decoder)」というモデルで、入力されたテキストを解析し、そこに潜んでいる知識を引き出すために使われる。具体的には、入力されたテキストから、感情分析(Sentiment Analysis)、固有名詞の抽出(Named Entity Recognition)、質疑応答(Question Answer)などのタスクを実行する。これらは金融自然言語処理「Financial NLP」という機能で、多くの銀行で使われているが、BloombergGPTはこの処理で世界最大の精度を示した。(下の写真、金融関連記事を入力し、BloombergGPTがタイトルを生成する事例。)

出典: Bloomberg

システム構成

BloombergGPTはオープンソースの大規模言語モデル「Bloom」をベースに開発された。Bloomは一般に公開されており、このモデルを大量の金融データで教育した。ブルームバーグは教育のための大規模なデータベースを構築した。デーやベースは、金融関連データと一般データで構成され、それぞれの規模は:

  • 金融関連のデータベース:3,630億トークン
  • 一般情報のデータベース:3,450億トークン

トークンとは自然言語処理の最小単位を示し、ここでは単語の数となる。このように、BloombergGPTは合計で7,000億超のトークンで教育された大規模モデルで、金融処理に特化したAIであるが、一般情報を処理する機能を兼ね備えていることが特徴となる。

オープンソース「Bloom」とは

「Bloom」はオープンソース団体Hugging Faceにより開発された大規模言語モデルで、1760億個のパラメータから構成され、59の言語を処理する機能を持つ。OpenAIが開発した「GPT-3」は1350億個のパラメータから成るが、これを上回り世界最大規模のオープンソースAIモデルとなる。Hugging FaceはBloomをオープンソースとして公開しており(下の写真)、企業や大学などが利用している。ブルームバーグはBloomをベースに、これを改造し、金融処理に特化したモデルを構築した。

出典: Hugging Face

ベンチマーク結果

BloombergGPTは言語処理のベンチマークで好成績を示した。BloombergGPTは金融タスクに特化した構成であり、金融処理でトップの成績を示した。(下のグラフ上段)。また、一般情報で教育されたモデルでもあり、汎用ベンチマークでOpenAIのGPT-3に次ぐ性能を示している。(下のグラフ下段)。BloombergGPTは一般的な言語処理で高度な性能を示し、これが金融処理で生かされていると考えられる。

出典: Bloomberg

業種に特化した”ChatGPT”

BloombergGPTは大規模言語モデルの将来動向に関し重要な指標を示した。OpenAIが開発するChatGPTは、特定の業種に特化することなく、汎用的にタスクを実行するモデルとなる。これに対し、BloombergGPTはファイナンスに特化したタスクを実行する構造で、フィンテック向けの専用モデルとなる。業種に特化すると、小さいモデルでも高度な性能を示し、この方式が注目されている。これからは、金融だけでなく、医療や教育やEコマースなど、業種に特化した”ChatGPT”の開発が進むと考えられる。

米国政府はChatGPTなど高度なAIモデルに認証制度を導入、モデルを検査し合格したものを信頼できるAIと認定

バイデン大統領はハイテク企業に、AIを出荷する前に、製品の安全性を確認するよう求めた。この声明に続き、米国商務省はChatGPTなど高度なAIモデルに関し、安全性の認証制度「Certifications」の導入準備を開始した。認証制度とは、AIの安全基準を制定し、これをパスした製品に、認定証書を付与する仕組みとなる。

出典: National Telecommunications and Information Administration

安全制度の概要

これは、米国商務省の電気通信情報局(National Telecommunications and Information Administration (NTIA))が発表したもので、「AIの説明責任政策 (AI Accountability Policy)」と呼ばれ(上の写真)、AIの安全性を保障する制度の構築を目標とする。これはクルマの型式認証に似た考え方で、クルマの販売では車両が安全規格を満たしていることが義務付けられるが、AIも同様に、出荷されるAIは安全規格を満たしていることが求められる。

パブリックコメント

この制度の構築に向け、NTIAは一般から意見を求める通達を公開した。企業や利用者から寄せられたパブリックコメントを参考に、制度の在り方を決めていく。NTIAはバイデン大統領の諮問機関で、この結論を元に、AI認証制度に関し大統領にアドバイスをすることとなる。この助言を元に、バイデン政権は連邦議会に働きかけ、法令の制定を進めることが最終ゴールとなる。

認証制度の素案

NTIAは、AIが安全であることを保障する認証制度の素案を示し、これに対してコメントを求めている。NTIAが提示した認証制度の素案は三つのステップから構成される:

  • 監査(Audits):検証のためにAIシステムの情報を得る
  • 検証(Assessments):得た情報を審査し安全基準を満たすかどうかを判定
  • 認証(Certifications):安全基準を満たすAIに証明書を発行

AIの安全性を認証することで、高度なAIが利用者から信頼を得ることになる。

認証制度の論点

NTIAはこの構想に関してパブリックコメントを求めているが、論点を整理し、検討すべきポイントを明らかにした(下のグラフィックス)。認証制度が機能するためには、利用者が安全にAIを利用できるだけでなく、高度なAIを開発する企業にとってもメリットがあることが重要となる。NTIAが提示した論点は次の通りで、これらの点を中心に意見を求めている:

  • 検査方法:何を検証すれば信頼で安全と言えるか
  • データ:どのデータを使って検証するか
  • インセンティブ:この規格を導入するインセンティブ
  • アプリケーション:業種間で利用法が異なるAIをどう検証するか
出典: National Telecommunications and Information Administration

連邦省庁の動き

米国では連邦政府によるAIを規制する法令は無いが、各省庁は既存の法令に従ってAIの運用を監視する施策を取っている。その中心が連邦取引委員会(Federal Trade Commission)で、反トラスト法に基づく不公正な競争の制限と、消費者保護の推進を任務としている。消費者保護では、AIの危険性から消費者を守ることを重点的に進めており、アルゴリズム利用に関するガイドラインを発表し、不公正な利用を現行法令で取り締まる。

連邦議会の動き

チャットボットChatGPTが社会で急速に普及し、連邦議会でAI規制に向けた機運が高まっている。カリフォルニア州の下院議員Ted Lieuは、AIの危険性を認識し、議会はAIを規制するための行動を起こすことを呼び掛けている。また、コロラド州の上院議員Michael Bennetは、高度なチャットボットが子供たちに有害な助言をしている事実を指摘し、ハイテク企業に対応を求めている。国会議員はAIの威力を認識し、同時にAIの脅威を実感しており、AI規制に関するアクションを求めている。

OpenAIの安全対策

ChatGPTなど高度なAIを生み出しているOpenAIは、政府にAIを規制するための法令を整備するよう求めている。OpenAIはブログで安全性に関する取り組みを公表し(下のグラフィックス)、ChatGPTなど高度な言語モデルが、危険な情報を出力しないための措置を公表した。同時に、政府はAI企業が順守すべきベストプラクティスを示し、開発と運用のガイドラインの制定を求めている。これに先立ち、OpenAIはAI規制について政府と協議していることを明らかにしている。

出典: OpenAI

電気通信情報局「NTIA」とは

NTIAは商務省配下の組織で、通信や情報技術に関し、大統領に政策をアドバイスすることをミッションとしている。NTIAはブロードバンドの普及や5Gなど無線通信の周波数管理に関する政策の立案を支えてきた。NTIAは、信頼できるAIを普及させることが、イノベーションを生み経済振興につながると理解している。バイデン政権はNTIAの答申を受け、連邦議会と協調してAI規制の法制化を進める。