2020年1月、サンフランシスコでAIのカンファレンス「RE•WORK」(#reworkAI)が開催された。「Deep Learning Summit」(#reworkDL)という分科会では世界の著名研究者が集いAIの最新技法が議論された。セキュリティのセッションでは、AIが内在している脆弱性が紹介された。AIは未完のシステムで、予想以上に問題点が多く存在していることに驚かされた。AIが普及するなか、システム管理者は弱点を理解し喫緊に対策を取る必要がある。

出典: VentureClef

AIとセキュリティ

カリフォルニア大学バークレー校教授Dawn Songは「AI and Security」と題して、AIとセキュリティについて講演した(上の写真)。講義では、AIシステムに内在する問題やAIシステムへの攻撃事例が示され、その対応策も議論された。AIは新しい技術で、脆弱性を数多く内在し、ハッカーはこれらの弱点を攻撃する実態が明らかになった。

三つの攻撃パターン

いつの時代も新しい技術が登場すると新手の攻撃が始まる。AIも例外ではなく、ハッカーは三つの手法で攻撃する。1) AI機能を不全にする攻撃で「Integrity」と呼ばれる。この攻撃によりアルゴリズムが誤作動する。2) AIシステムから機密データを盗用する攻撃で「Confidentiality」と呼ばれる。ハッカーはアルゴリズムから機密情報を抜き取る。3) AIを悪用した攻撃で「Misuses」と呼ばれる。AIでフェイクニュースを生成するなどの攻撃が含まれる。

Integrity: 自動運転車への攻撃

自動運転車が市街地を走行し始めると新たな脅威が生まれる。自動運転車はクルマに搭載したカメラで道路標識を撮影し、それをAIが解析してその意味を把握する。道路標識に落書きがされていてもAIはこれを正しく認識する(下の写真、左側)。しかし、道路標識に符号のような特殊なパターンが加えられるとアルゴリズムは誤作動を起こす(下の写真、右側)。このケースでは、AIは一時停止標識ではなく速度制限標識(制限速度毎時45マイル)と誤認識する。このため、自動運転車は交差点で止まらず、走り抜けることになる。

出典: Dawn Song

走行試験をすると

実際にクルマを使って走行試験をすると、一時停止標識に特殊なパターンが加えられたケースでは、AIは速度制限標識と誤認識し、交差点で停止しないでそのまま進んだ(下の写真、左側)。自動運転車が市街地で営業運転をするなか、このような攻撃を受けると交通事故につながり、その危険性は甚大である。自動運転車の安全性評価の中で、AIについて安全性を確認する手順の制定が求められる。更に、イメージを識別するAIについて、攻撃に耐性のある規格を制定することも必要となる。

出典: Dawn Song

Confidentiality: 言語モデルへの攻撃

ニューラルネットワークは予想外に危険な特性を持っていることが指摘された。言語モデル(言葉を生成するAI)はアルゴリズム教育の過程で、開発者の意図に反し、学習したデータを覚えてしまう。このため、機密情報を含むデータでアルゴリズムを教育すると、AIはそれを覚えてしまう。このため、ハッカーはAIから覚えた機密情報を抜き取るという攻撃を仕掛ける。

AIからクレジットカード番号を聞き出す

実際に、Enron(経営破綻した電力会社)という会社の社内メールを使って、AIから機密情報を盗み出す技法が紹介された。社内メールには、業務のやり取りだけでなく、個人のクレジットカード番号とソーシャルセキュリティー番号(マイナンバーに相当)も記載されている。このメールを使って言語モデルを教育し、完成したアルゴリズムに質問を投げかけた。具体的には、「Aさんのクレジットカード番号は」という言葉をモデルに入力すると、アルゴリズムは「xxxx-xxxx-xxxx-xxxx」とその番号を正しく回答した。実際に、10のケースについて試験したところ3つのケースで機密情報を引き出すことに成功した(下のテーブル)。

出典: Dawn Song

Gmailへの攻撃

言語モデルが機密情報を記憶するという問題は広範囲に影響する。GoogleはGmailでAIがメールを生成する機能「Smart Compose」を提供している。Gmailに文字を入力すると、Smart Composeがそれに続く文章を作成する。ここでもアルゴリズムが機密情報を記憶するという問題が発生する。Smart Composeはユーザーが生成するメールで教育されており、入力された機密データをアルゴリズムが覚えてしまう。このため、Gmailで「Aさんのソーシャルセキュリティー番号は」と入力すると、Smart Composeが「281-26-5017」と出力し、機密情報を漏らしてしまう。

機密情報の露出をどう防止するか

これはSmart Composeだけの問題ではなく、言語モデルに共通する課題で、システム管理者はこの脆弱性に対応する必要がある(下の写真)。実際に、Smart Composeのケースでは、Googleはアルゴリズムが機密情報を漏らす程度を測定し、危険度を把握するというプロセスを取っている。また、教育データから消費者のプライバシーに関する部分を一部削除するという手法(Differential Privacyと呼ばれる)も使われる。このデータを使ってアルゴリズムを教育すると、AIはプライバシーに関する情報を出力しない。これらの技法を組み合わせてAIが機密情報を露出させない対策を講じることになる。

出典: Dawn Song

Misuses: AIを悪用する　

三つ目は、高度なAI技法を悪用して他のシステムを攻撃したり、また、フェイクビデオを生成して特定人物を攻撃する手法である。特に、DeepFakesは著名人や政治家の顔を他の人物の顔に置き換える技法で、既に多くの被害が報告されている。今年は米国大統領選挙の年で、フェイクビデオやフェイクニュースが生成されソーシャルメディアで拡散すると懸念されている。

個人も情報管理をしっかりと

多くの企業がAIを導入しており、これらがハッカーの攻撃対象となる。システム管理者はAIの脆弱性を理解して、事前に対策を講じることが求められる。また、消費者もAIの弱点を理解して、攻撃の被害者とならないよう自衛することが必要となる。特に、暗証番号やパスワードなど機密情報をメールで送信すると、経路上でハッキングされるだけでなく、アルゴリズムがこれを記憶し、ハッカーの問いかけに答えて番号を流出させることになる。今では個人情報がAI教育で使われるので、消費者は今まで以上に機密情報の管理をしっかりと行うことが必要になる。

OpenAIは人間のように文章を生成するAIを開発し、これをオープンソースとして公開した。このAIは「GPT-2」と呼ばれ、言語を生成する機能を持つ。GPT-2で生成された記事はごく自然で、人間が作成したものと区別はつかない。この技法が悪用されると、人間に代わりAIがフェイクニュースを作成し、感情を煽るプロパガンダがネットで拡散する。極めて危険なAIであるが、OpenAIがあえてこれを公開した背景には、AI言語モデルの開発を促進する狙いがある。GPT-2の研究が進むと社会に役立つソリューションが登場するとの期待がある。

出典: OpenAI

OpenAIとは

OpenAIはAI研究の非営利団体で、Elon MuskやSam Altmanらにより、2015年に設立された。OpenAIは社名が示しているようにオープンソースの手法でAIを開発することをミッションとする。OpenAIは特許や研究結果を公開し、他の研究機関と共同で、高度なAI技法を開発する。OpenAIは深層強化学習(Deep Reinforcement Learning)を中心にインテリジェンスの開発を中心テーマとする。更に、GPT-2のように高度な言語モデルの開発を通し、AIが言葉を理解する技法の研究を進めている。

言語モデルを公開

OpenAIは汎用言語モデル「GPT-2(Generative Pre-Trained – 2)」を開発し、それをオープンソースとして公開した。OpenAIはGPT-2の危険性に配慮して、小型モデルから公開を始め、安全性を評価したのちに、大型モデルの公開に踏み切った。このモデルはGPT-2(1.5B)と呼ばれ、最大構成のニューラルネットワークから成り、パラメータの数は15億個を超える。世界最大規模のAIとなる。

GPT-2の機能概要

GPT-2は高度な言語モデルで、入力された言葉の次に登場する言葉を予測する機能を持つ。シンプルな機能であるが、これが言葉を理解するという本質的な能力を構成し、文章の生成だけでなく、翻訳や文章の要約などにも使える。GPT-2は汎用的な言語モデルであるが、その中でも記事を生成する能力に秀でている。GPT-2に数行を入力すると、それに沿った文章を出力する。

実際に使ってみると

GPT-2が公開され、このモデルを実際に使ってみたが、人間が書くように滑らかな文章が生成される。書き出しを文章で入力すると、それに続く記事をGPT-2が生成する(下の写真)。主張したい内容を文で入力すると(赤文字)、GPT-2がそれに沿った記事を生成する(青文字)。これで「人は生活で一番大切と感じることをしている時に幸せと感じ、それが成功につながる」というエッセイが生成された。記事は自然な流れでマシンで生成したとは感じられない。(この文章を筆者の年賀状のメッセージとして使った。議論はあるが、AIが年賀状を書けるようになり、手抜きができるようになった。)

出典: VentureClef

ファンタジーゲーム

GPT-2が公開されてから、言語モデルの応用分野が急速に広がりつつある。その一つがゲームで、GPT-2が人間に代わって物語を語り始めた。「AI Dungeon 2」はGPT-2を搭載したファンタジーゲームで、人間に代わりAIが物語を生成する。これはテキストベースのゲームで、プレーヤーと対話しながらインタラクティブに物語が進む。プレーヤーがアクションを指示すると、ゲームはそれに応じてストーリーを変えていく。実際にプレーしてみると、ゲームの登場人物は指示に従って動き、状況に応じて動的に物語が変化する。事前にストーリーが決められているわけではなく、GPT-2がプレーヤーとの対話で新規に生成する(下の写真)。

出典: VentureClef

プレーヤーは「王国に住む騎士」となり「ドラゴンを退治」することがゴールとなる。「ドラゴンを探して森に入ると、一人の老人が泣いていた」という状況に遭遇し、ここでアクションを指示することが求められた(左側)。この画面で「老人は何をしているのか」と聞くと、老人は「妻が昨晩、盗賊に連れ去られた」と回答した。GPT-2はこちらの指示を理解し、それに応じた新たな物語を出力する。次に、「彼女を助けに行く」と入力すると、老人は「素晴らしい。救出に向かう前に食事しよう」と回答し、村に食べ物を探しに行く展開となった(右側)。

AIが物語を生成

AI Dungeon 2の背後でGPT-2が稼働している。プレーヤーが入力するコマンドを理解し、GPT-2は自動で次の物語を生成する。これはアドベンチャーゲームの一つで「Text Adventure」と呼ばれる。従来は、事前に物語が設定され、それをプレーヤーが選ぶ形でゲームが進行するが、AI Dungeon 2はGPT-2が新規に場面の流れを生成する。

最も完成度の高いモデル

GPT-2を使ってみると今までの言語モデルから大きく進化していることが分かる。GPT-2が生成した文章は極めて自然で、人間が書いたものと区別がつかない。具体的には、生成される記事は、文章や段落の単位でよく纏まっており、ストーリーが自然な流れで展開される。また、文章は特定の話題でまとまっており、論点が突然変わることはない(上述の年賀状のケース)。更に、物語の中で登場人物のキャラクターや役割が変わることなく一貫して提示され、自然な流れでストーリーが進む(上述のAI Dungeon 2のケース)。

しかし危険性も高まる

GPT-2は今までにない高度な言語生成能力を持つことになり、これが悪用されると危険性がぐんと高まる。OpenAIはこの点を警戒しており、フェイクニュース検知技術の研究開発を進めている。OpenAIが特に警戒しているのは、過激な思想をもつ集団がGPT-2を悪用してプロパガンダを生成することにある。情報操作のためのメッセージを生成したり、反対集団を攻撃するためのヘイトスピーチを生成することを警戒している。特に、白人至上主義(white supremacy)、イスラム原理主義(jihadist Islamism)、マルクス主義(Marxism)団体がGPT-2を悪用する可能性が高いと分析している。(下のグラフ、GPT-2をそれぞれの過激思想で再教育した場合、GPT-2はその内容に沿ったプロパガンダを作成できることを示している。)

出典: Irene Solaiman et al.

GPT-2の問題点

GPT-2は他社が開発している言語モデルを凌駕し、最も高度な言語生成機能を持つ。一方、ニューラルネットワークによる言語モデルに対して批判的な意見も少なくない。GPT-2は人間のようにエッセイを生成するが、AIがその内容を理解しているわけではない、という議論である。GPT-2は入力された文章に続く文章を推測するが、それは統計処理であり、AIが言葉の意味を理解しているわけではない。GPT-2は人間のように常識はなく、単なるマシンにすぎないという議論である。これに対し、OpenAIはAIに常識を学ばせる技法を研究しており、人間が持つインテリジェンスに近づこうとしている。AIが人間の言語能力を上回ることができるのか研究者たちが注目している。