月別アーカイブ: 2023年8月

ChatGPTの政治理念はリベラルにバイアス、生成AIが民主党寄りの意見を発信し米国で社会分断が進む

OpenAIが開発したChatGPTとGPT-4は政治理念がリベラルに偏っていることが相次いで指摘された。ChatGPTに政治的な質問をすると、モデルは左派の政治思想に沿った回答を出力する。右派の考え方とは反するもので、保守派はOpenAIに政治的なバイアスを是正するよう求めている。2020年の大統領選挙ではソーシャルメディアで世論が分断されたが、来年の選挙では生成AIが混乱の要因となると懸念されている。

出典: OpenAI

政治バイアスに関する研究

ワシントン大学(University of Washington)などの研究チームは大規模言語モデルに関し、政治的なバイアス(Political Biases)を査定する論文「From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models」を発表した。これによると、OpenAIが開発するGPTシリーズは、最新モデルになるにつれその特性が、保守(右派)からリベラル(左派)に移ったことが明らかになった。

政治スペクトラム

研究チームは、言語モデルに政治理念に関するプロンプトを入力し、モデルが回答するテキストから政治志向を分析した。この結果を、「リベラル(左派、Left)」か「保守(右派、Right)」か(下のグラフ、横軸)、更に、「自由主義(Libertarian)」か「権威主義(Authoritarian)」を判定した(縦軸)。これによると、GPT-3など言語モデルは保守、中道、リベラルに分散しているが、ChatGPTとGPT-4のチャットボットは、大きくリベラルに移動した。一方、縦軸で見ると、OpenAIのモデル(白丸)は「自由主義」でGoogleのモデル(黄丸、BERTなど)は権威主義に偏向している。

出典: Shangbin Feng et al.

政治理念が偏る理由

研究チームは、モデルにより政治理念が偏る理由は、教育データの特性によると分析している。Googleは書籍のデータを中心にモデルを教育しており、保守的な特性を持ち、一方、OpenAIはウェブサイトのデータで教育しており、リベラルな特性を得たとしている。ただ、ChatGPTとGPT-4が大きくリベラルに偏向した理由については、教育データが公開されてなく解析は困難であるとしている。(ChatGPTとGPT-4については教育方式が変わり、「Reinforcement Learning from Human Feedback」を導入しており、これによりリベラル色が強くなった可能性がある。後述。)

アメリカ社会で深まる対立

ChatGPTとGPT-4がリベラルに偏っていることは、現実社会で指摘されている。Elon Muskは言語モデルは教育データの品質によりバイアスするため、究極の真実「maximally true」を探求するAIを開発する必要があると述べている。また、大統領選挙立候補者ロン・デサンティス(Ron DeSantis)は、AI開発企業は意図的に左寄りのデータを使い、生成したAIを政治的に利用していると批判している。共和党は民主党に偏ったAIを「Woke AI」と呼び警戒を促している。

OpenAIの教育法

これに対し、OpenAIのCEOであるSam Altmanは、ChatGPTを教育する手法を公開し、アルゴリズムを中立にする努力を続けていることをアピールした。しかし、教育手法は「アナログ」で、アルゴリズムのロジックをソフトウェアで規定するのではなく、大量のデータを読み込み、アルゴリズムがここから知識を吸収する方式となる。AltmanはChatGPTの教育は、「犬の訓練に似ている」と表現している。繰り返しトレーニングを重ね、AIが人間が望む特性を習得する。

二つのステップ

具体的には、ChatGPTは二つのステップで教育された(下のグラフィックス)。一段目は基礎教育で(右側)、ウェブサイトから収集した大量のデータで実施された。二段目は、基礎教育を終えたモデルを人間の検証者がマニュアルで最適化教育を実施した(左側)。この手法は、「Reinforcement Learning from Human Feedback(LRHF)」と呼ばれ、ChatGPTが出力した回答を人間が評価し、何が正解かをモデルに教え込む。

出典: OpenAI

政治的に中立にするために

この過程で、人間の検証者はChatGPTに、バイアスすることなく公正であることを指導する。具体的には、OpenAIはChatGPTの教育におけるガイドライン「ChatGPT model behavior guidelines」を制定し、検証者はこれに従ってモデルを教育する。政治理念に関しては、「ChatGPTが政治的に利用されることを避けるため、特定の方向に沿った文章の生成を求められるケースでは、これに回答しない」ことを定めている。

更なる研究が必要

このような検証を重ねてChatGPTが生まれたが、上述の通り、ChatGPTとGPT-4の政治理念はリベラルにバイアスしている。Altmanは、生成AIを完全に中立にすることは今の技術では不可能で、更なる研究が必要であると述べている。このため、OpenAIは他社と共同で、モデルを中立にするための研究を進めている。また、研究のための基金を創設し、大学などと共同でブレークスルーを目指している。

出典: Adobe Stock 

2024年の大統領選挙

2020年の大統領選挙では、フェイスブックなどソーシャルメディアがフェイクニュースを拡散し、世論が二極に偏り、米国社会が混乱した。2024年の大統領選挙では、ChatGPTなど生成AIが政治的にバイアスしたテキストを生成し、公正な選挙が妨げられると懸念されている。再び、ハイテク企業の責任が問われ、技術的な解決策が求められている。

ニューヨーク・タイムズはOpenAIを著作権侵害で訴訟するのか緊迫感が高まる、ChatGPTは学習した記事を出力し報道事業が脅かされる

ニューヨーク・タイムズはOpenAIを著作権侵害で提訴するのか、緊迫した状況となっている。OpenAIは、ChatGPTなど生成AIの教育で、ニューヨーク・タイムズの記事を許諾を得ないで使っている。このため、両社でライセンスに関する協議が行われたが合意に至らず、ニューヨーク・タイムズは訴訟に踏み切る公算が大となった。もしOpenAIが敗訴すると、生成AIの開発をやり直すこととなり、事業戦略に甚大な影響を及ぼす。

出典: Adobe Stock

ニューヨーク・タイムズの主張

ニューヨーク・タイムズはOpenAIを著作権侵害で訴訟する構えを見せている。米国のメディアが報道した。OpenAIはChatGPTなどの教育で、ウェブサイトから取集した大量のデータを使っている。この中には、ニューヨーク・タイムズの記事が含まれており、教育されたモデルはこの内容を覚えている。利用者のプロンプトに対し、ChatGPTは記事の内容を出力し、著作権物が複製されることになる。このため、OpenAIが事実上のニュース会社となり、ニューヨーク・タイムズの競合企業になると主唱する。

GPT-4 (ChatGPT Plus) で試してみると

実際に、生成AIがニューヨーク・タイムズの記事を出力するのか、GPT-4で試してみた。GPT-4はニューヨーク・タイムズの記事を出力することが確認できた。「2020年の米国大統領選挙の結果に関するニューヨーク・タイムズの記事」を要約するよう指示すると、GPT-4は「2020年の大統領選挙結果に関しニューヨーク・タイムズが報道した記事」として、包括的なレポートを生成した(下の写真)。レポートは「選挙当日の結果」に始まり、「トランプ大統領の異議申し立て」、「連邦議会での選挙結果承認」、「連邦議会への乱入」まで、10項目にわたり記事の要約が出力された。ここにはニューヨーク・タイムズで学習したデータが含まれており、オリジナル記事の一部や、記事に基づく論評などが出力された。

出典: OpenAI

OpenAIが利用しているデータ

OpenAIはChatGPTなどのアルゴリズム教育で大量のデータを使っているが、その中心は「Common Crawl」である。Common Crawlとは非営利団体が開発したデータセットで、ここにウェブサイトから収集したデータが格納されている。Common Crawlが収容しているデータ量はペタバイトを超え、クローラーは二か月ごとにデータを収集し、最新情報にアップデートする(下の写真、データセットの構成、最新版2023年5月/6月のアーカイブ)。

出典: Common Crawl

記事を学習したメカニズム

このデータセットはオープンソースとして一般に公開されており、だれでも無償で利用することができる。OpenAIもこのデータセットを使い、ChatGPTなどを教育した。このデータセットにはニューヨーク・タイムズの記事を含め、世界の主要サイトの情報が格納されている。このため、ChatGPTなどはニュース記事などの著作物で教育され、アルゴリズムは学習した内容を出力する構造となる。

ライセンスに関する協議

OpenAIとニューヨーク・タイムズは、この問題に関し協議を続けてきた。ニューヨーク・タイムズは、記事を教育データとして利用することに関し、OpenAIにライセンス料の支払いを求めてきた。しかし、両社は合意点を見つけることができず、ニューヨーク・タイムズは記事の著作権を保護するため、訴訟に踏み切るといわれている。

OpenAIの主張

一方OpenAIは、著作物の一部だけを使っており、これは「フェアユース(Fair Use)」であり、著作権侵害には当たらないと主張する。ChatGPTのアルゴリズムは、著作物を学習し、学んだ内容を出力するが、これは記事全体ではなくその一部で、フェアユースであると主張する。生成AIの教育と著作権に関する明確な解釈は無く、もしニューヨーク・タイムズが提訴すると、裁判所はどう判断するのか、市場の関心が集まっている。

もしOpenAIが敗訴すると

ニューヨーク・タイムズが提訴し、OpenAIが敗訴すると、その影響は多岐にわたる。米国著作権法によると、著作権の侵害が認められると、利用者に著作物を破棄することを求める。OpenAIのケースでは、Common Crawlを使って生成したデータベースから、ニューヨーク・タイムズの記事を削除することが求めれれる。更に、生成AIのケースでは、アルゴリズムから学習した内容を消去することも要求される。つまり、ニューヨーク・タイムズの記事を含んでいないクリーンなデータセットを生成し、これを使ってChatGPTを再度教育することを意味する。ChatGPTを教育するためには数百億ドル単位のコストがかかり、企業経営に大きな重しとなる。

出典: Adobe Stock

生成AIと著作権の関係

OpenAIは著作権侵害で複数の訴訟を受けている。米国の著名な作家Sarah Silvermanは、OpenAIが著書「The Bedwetter」を著者の許諾なく使っているとして提訴した。これに加え、ニューヨーク・タイムズが実際に訴訟に踏み切ると、そのインパクトは甚大である。生成AIが「フェアユース」で保護されないと判定されると、OpenAIは開発戦略の見直しを迫られる。また、他のニュースメディアが訴訟を起こす可能性は大きく、OpenAIは窮地に立たされる。OpenAIや他の企業がAI開発を合法的に進めるためには、生成AIと著作権の関係を明確にすることが喫緊の課題となる。

OpenAIはウェブページからデータ取集を停止する機能を公開、クローラー「GPTBot」をオフにすることで個人や企業の著作物を守る

OpenAIはウェブサイトのデータを読み込まない機能を公開した。OpenAIは「GPTBot」というクローラーで世界のデータを収集している。クローラーがウェブサイトにアクセスし、掲載されているコンテンツを読み込む。収集したデータは、ChatGPTなどの生成AIの教育で使われる。しかし、OpenAIは制作者の許諾を得ることなくデータをスクレイピングしており、社会問題となっている。これに対しOpenAIは、クローラーが個人や企業のデータを読み込むことを抑止するオプションを開示した。GPTBotの機能を「オフ」にすることで、個人や企業のコンテンツを守ることができる。

出典: OpenAI

GPTBotとは

「GPTBot」とはクローラー(Crawler)で、これがウェブサイトにアクセスし、掲載されているテキストなどを読み込む(Scrape)。収集したデータはデータセットとして保存され、GPT-4などの言語モデルを教育するために使われる。言語モデルは大量のデータで教育すると機能が向上することが分かっており、いかに多くのデータを収集するかがAI開発の勝敗を分ける。

OpenAIの運用指針

OpenAIはこの手法でウェブサイトのデータを収集しているが、その運用は倫理的に実行していると主張する。GPTBotは有料サイト(Paywall)に掲載されているデータは収集していない。また、個人情報が掲載されているサイトは、プライバシー保護のため、データは収集を抑止している。OpenAIは既に大量のデータを保有しているが、それを最新データで更新するために、GPTBotが定期的にサイトからコンテンツを収集している。

著作権問題

OpenAIはGPTBotを倫理的に運用していると主張するが、著作権で保護されているデータが収集され、重大な社会問題となっている。著者は、OpenAIは許諾を得ないでデータを収集し、これを言語モデルの教育で使っているとして、著作権侵害で提訴した。また、これに先立ち、ChatGPTとDALL-Eはアルゴリズム教育で個人情報が使われているとして、OpenAIは集団訴訟を受けている。

GPTBotの機能を停止

データ収集に関する問題が相次いで指摘されるなか、OpenAIはGPTBotがウェブサイトのデータの収集を中止するオプションを公開した。これはウェブ管理者向けのツールで、GPTBotの機能をオフにして、データ収集を停止させる。具体的には、ウェブページのファイル「robots.txt」に、下記のコマンド(左側)を記載すると、GPTBotはデータ収集を停止する。また、この機能をディレクトリ毎に設定することもできる。更に、OpenAIはGPTBotのIPアドレス(右側)を公開し、ファイアウォールでこれをブロックすることで、クローラーがサイトにアクセスすることを禁止する。

出典: OpenAI

今までに収集されたデータは

このオプションを使うことで、コンテンツ制作者はウェブサイトに掲載しているデータを守ることができるが、考慮すべき点は少なくない。その一つが過去に収集されたデータで、これを消去する手段はない。OpenAIは、既に、ウェブサイトから大量にデータを収集し、これをベースにChatGPTなどを開発した。言語モデルのアルゴリズムは、個人や企業のデータを学習しており、これを白紙に戻すことはできない。

オープンソースのデータセット

もう一つがオープンソースのデータセットである。最新版のデータセットは「The Pile」と呼ばれ、英語を中心にウェブサイトの情報を集約している。世界最大規模のデータセットで、オープンソースとして公開され、企業や団体が生成AIの開発で利用している。先月、Metaが生成AI最新モデル「Llama 2」を公開したが、アルゴリズム教育でThe Pileが使われた。The Pileはコンテンツ制作者の許諾を得ることなく、サイトからデータが収集され、これが一般に公開され、Meta以外に多くの団体が利用している。

GPTBotに関する評価

GPTBotの発表と同時に、多くのサイトはコンテンツを保護するために、「Disallow」のオプションを導入した。先端情報を発信しているサイトを中心に適用が広がっている (下のイメージ、ニュースサイト「The Verge」はGPTBotのアクセスを禁止、シェイドの部分)。一方、CNNなどニュースサイトの多くはこのオプションを導入しておらず、企業はOpenAIのデータ収集にどういうポジションを取るのか注視していく必要がある。

出典: The Verge

検索エンジン vs 生成AI

Googleもクローラー「Googlebot」を使って、世界のウェブ情報を収集し、検索サービスで利用している。検索エンジンのケースでも、同じ議論が起こり、Googleは著作権を侵害しているとして訴訟された。しかし、Google検索エンジンは著作物の一部だけを使っており(Snippet)、これは「フェアユース(Fair Use)」であり、著作権侵害には当たらないと判定された。一方、OpenAIのケースでは、著作物や個人情報がAI教育で使われ、アルゴリズムがこれを学習し、学んだ内容を出力する。このケースは著作権を侵害しているのかどうか法廷の場で争われる。検索エンジンと生成AIではデータの利用法が異なり、新たな基準が必要となる。

Googleは生成AIをロボットに適用、ロボットは人間の言葉を理解しカメラの映像で命令を実行、知能が向上し学習していないタスクを実行できる技能を獲得

Google DeepMindは生成AIでロボットの頭脳「RT-2」を開発した。生成AIはチャットボット「Bard」のエンジンとして使われているが、これをロボットに適用した。RT-2は人間の言葉を理解し、カメラの映像を読み込み、ロボットのアクションを計算する。この手法は、ロボットは教育されていない命令を実行できることを意味し、汎用ロボットの開発に向けて大きな技術進化となる。

出典: Google DeepMind

RT-2とは

Google DeepMindはロボットの頭脳「Robotic Transformer 2 (RT-2)」を開発した。名前の通り、言語モデル「Transformer」で構成されるロボットで、言葉(人間の命令)とイメージ(カメラの映像)をアクション(ロボットの動作)に翻訳する機能を持つ。人間の指示をそのままロボットが実行することを意味し、RT-2は初めての環境でもタスクを実行することができる。RT-2はロボットハードウェアに実装され、カメラで目の前のオブジェクトを捉え、ロボットアームが処理を実行する(上の写真)。

汎用ロボットの開発

GoogleはTransformerを搭載することで汎用ロボットを開発するアプローチを取る。現在のロボットは、特定のタスク(リンゴを掴むなど)を繰り返し練習し、スキルを獲得する。これに対し汎用ロボットは、特定のスキル(リンゴを掴むなど)を習得すると、それを別のタスク(バナナを掴むなど)に応用する。人間のように学習したことを汎用的に使いこなす能力で、ロボット開発のグランドチャレンジとなっている。

RT-1とRT-2を開発

言語モデル「Transformer」をロボットに適用する試みは「RT-1」で始まり、ロボットは学習したスキルを別のロボットに移転することが可能となった。RT-2はRT-1が学習したことを継承し、更に、ウェブ上のデータを学び、世界の知識を習得した。これにより、人間の言葉をロボットの言葉に翻訳し、初めての環境でもタスクを実行し、ロボットの汎用性が向上した。

RT-2の成果:初めてのタスク

RT-2はカメラで捉えたイメージだけで、指示された命令を実行する。具体的には、ロボットが「イチゴを掴んでボールに移す」よう指示されると、RT-2はカメラで捉えたイメージから、次のアクションを予想し、これをロボットが実行する(下の写真左側)。今までのロボットは、イチゴを掴んでボールに移す操作を何回も練習して、このスキルを獲得するが、RT-2は学習していないスキルでも、これを実行することができる。同様に、「テーブルから落ちそうな包みを掴んで」と指示されると、RT-2は初めてのタスクでもこれを実行する(右側)。

出典: Google DeepMind

RT-2の成果:初めての環境

RT-2は今までに学習したことのない環境で、命令を実行することができる。RT-2は、見たことのないオブジェクトを操作できる(下の写真左側)。また、学習していない背景(中央、テーブルクロス)や、学習していない環境(右側、キッチンのシンク)において、指示されたタスクを実行できる。このスキルは汎用化(Generalization)と呼ばれ、学習したことを元に、新しい環境でその知識を応用し、タスクを実行できる能力を指す。

出典: Google DeepMind

RT-2の成果:推論機能

RT-2のモデルが更に改良され、ロボットは推論機能を獲得した。これは「考察の連鎖(chain-of-thought)」と呼ばれるもので、ロボットは複数の思考ステップを経て結論を導き出す。ロボットは「目的」と「アクション」を理解してそれを実行する。具体的には、ロボットに「くぎを打つ」という目的を示し、このために「どのオブジェクトを使えるか」と聞くと、ロボットは「紙」、「石」、「コード」の中から(下の写真左側)、「石」を取り上げる(右側)。RT-2は「金槌」が無い時は「石」を代用できることを推論した。

出典: Google DeepMind

ベンチマーク結果

RT-1とRT-2がタスクを実行できる能力を比較すると、その差は歴然としており、大規模言語モデルを適用することで、性能が向上することが示された(下のグラフ)。具体的には、既に学習したタスク「Seen」を実行できる割合については、両者で互角となる(左端)。しかし、初めてのタスク「Unseen」に関しては、RT-2が実行できる割合がRT-1を大きく上回る(右端)。RT-2は、人間と同じように、学習したことを新しい環境に適用できることを意味し、汎用的に学習する機能を獲得した。(RT-1は灰色のグラフ、RT-2は紫色と薄青色のグラフ。)

RT-2は大規模言語モデルの種類により二つのモデルが開発された。二つの言語モデルは:

  • PaLM-E:言語モデル「PaLM」をロボット向けに最適化。言語とイメージを処理。
  • PaLI-X:言語モデル「PaLI」の小型モデル。多言語とイメージを処理。
出典: Google DeepMind

ロボット開発は進まないが

大規模言語モデル「Transformer」はChatGPTなどチャットボットのエンジンとして使われ、人間の言語能力を凌駕し、社会に衝撃を与えた。Googleはこれをロボットに適用することで、研究開発におけるブレークスルーを目指している。デジタル空間のAIは劇的な進化を続けているが、ロボットなど実社会におけるAIは目立った進展が無い。生成AIでこの壁を破れるのか、世界の研究者が注目している。