セキュリティの国際会議Black Hat 2020が開催され、最新の攻撃手法が報告された。今年は米国大統領選挙の年で、AIを使った攻撃が議論の中心となった。オープンソースとして公開されているAIを使うと、誰でも簡単に高品質のフェイクメディアを生成でき、情報操作の件数が急増している。

出典: FireEye

FireEyeのレポート

セキュリティ企業FireEyeはオープンソースのAIが悪用されている実態を報告した。これを使うと、誰でも簡単に高精度なフェイクイメージを生成でき、敵対する国家が米国などを標的に情報操作を展開している。FireEyeはシリコンバレーに拠点を置く企業でサイバー攻撃を防ぐ技術を開発している。

攻撃の概要

インターネット上にはオープンソースAI(ソースコードや教育済みのニューラルネットワーク)が公開されており、誰でも自由に使える状態になっている。これは研究開発を支援するための仕組みであり、オープンソースAIを改造して技術開発を進める。一方、この仕組みを悪用すると、簡単にフェイクメディア(偽のイメージや音声やテキスト)を生成できる。敵対国家は生成したフェイクメディアで西側諸国の世論を分断し社会を不安定にする。この情報操作は「Information Operations」と呼ばれ、米国で大統領選挙に向けて件数が急増している。

フェイクイメージ生成：StyleGAN2

情報操作で使われる手法は様々であるが、フェイクイメージを生成するために「StyleGAN2」が使われる。StyleGAN2とはNvidiaのKarrasらにより開発されたAIで、StyleGANの改良版となる。StyleGAN2はリアルなイメージを生成するだけではなく、アルゴリズムがオブジェクト(例えば顔)のパーツ(例えば目や鼻など)を把握し、異なるスタイルで対象物を描くことができる。

出典: NVIDIA Research Projects

StyleGAN2はGitHubにソースコードが公開されており、これを再教育することで目的のイメージを生成できる。オリジナルのStyleGANと比べて、StyleGAN2はエラー(Artifacts)が無くなり、イメージの品質が格段に向上した。(上の写真：StyleGAN2で生成した人間の顔のイメージ。このような人物は存在せず、攻撃者は架空の人物になりすまし、SNSで情報操作を展開する。)

StyleGAN2クラウド

アルゴリズムを再教育し実行するにはそれなりの技量がいるが、StyleGAN2のクラウドを使うと簡単にフェイクイメージを入手できる。その代表が「thispersondoesnotexist」で、StyleGAN2クラウドとしてAIが顔イメージを生成する(下の写真左端)。また、「thisartworkdoesnotexist」は抽象画を生成(下の写真中央)し、「thiscatdoesnotexist」は猫のイメージを生成する(下の写真右側)。これらはどこにも存在しない架空の人物や芸術や猫で、オンリーワンのオブジェクトとして希少価値がある。しかし、これらが悪用されると、真偽の区別がつかず、社会が混乱することになる。

出典: thispersondoesnotexist / thisartworkdoesnotexist / thiscatdoesnotexist

偽のトム・ハンクスを生成

このStyleGAN2に俳優トム・ハンクス(Tom Hanks)の写真を入力し、アルゴリズムを再教育すると、AIが本物そっくりのトム・ハンクスを生成する。(先頭の写真、左下が入力された写真で、右端が生成された偽のトム・ハンクス。)生成された顔写真はトム・ハンクスと瓜二つで、真偽の区別はできない。攻撃者はStyleGAN2を使って異なるシーン(表情や年齢やヘアスタイルなど)のトム・ハンクスを生成し、これら架空の顔写真で本人を攻撃したり、世論を操作することが懸念される。もはや、ネット上のセレブの写真は本物であるという保証はない。

フェイクボイス生成：SV2TTS

この他に、「SV2TTS」という技法を使うと、フェイクボイスを生成できる。SV2TTSとは、テキストを音声に変換する技術(text-to-speech)であるが、AIが特定人物の声を学習する(下の写真)。例えば、SV2TTSに文章を入力すると、トム・ハンクスがそれを読み上げているフェイクボイスを生成できる。この技術はGoogleのYe Jiaなどによって開発され、GitHubにソースコードが公開されている。

出典: Corentin Jemine

フェイクテキスト生成：GPT-2

更に、「GPT-2」を使うと、AIが人間のように文章を生成する。生成された文章はごく自然で、人間が作成したものと区別はつかない。GPT-2はAI研究非営利団体OpenAIにより開発され、その危険性を認識して、ソースコードは公開されていなかった。しかし、AIコミュニティが研究開発を進めるためはソースコードが必須で、OpenAIはこの方針を撤回し、GitHubにGPT-2を公開した。

GPT-2がツイートを生成

このため、テキスト生成の研究が進むと同時に、GPT-2を悪用した攻撃も始まった。GPT-2をソーシャルメディアのテキストで教育すると、AIがリアルなツイートを生成する。更に、情報操作のために発信されたツイートで教育すると、人間に代わりGPT-2が世論を操作するツイートを生成する。実際に、ロシアの情報操作機関Internet Research Agencyが発信したツイートで教育され、GPT-2が米国の世論を分断するツイートを自動で生成する。

出典: FireEye

(上の写真：GPT-2が情報操作のためのツイートを生成した事例。GPT-2は「It’s disgraceful that they are deciding to completely ban us! #Immigrants #WakeUpAmerica」と、トランプ大統領の移民禁止政策に反対するツイートを生成。GPT-2が生成するツイートは短く簡潔で、ツイッター独自の言い回しで、しばしば間違った文法の文章を生成。文章の最後にはハッシュタグを挿入。人間が生成したものとの見分けはつかず、AIが人間に代わり社会を攻撃する。)

Twitter Botsによる偽情報

いま、ツイッターにはコロナウイルスに関するツイートが数多く掲載されているが、このうち半数がAI(Twitter Botsと呼ばれる)により生成されたものである。これらツイートは社会を混乱させることを目的とし、「既往症があればコロナウイルスのPCR検査は不要」などと主張する(下の写真)。もはや、フェイクとリアルの見分けはつかず、読者は状況を総合的に判断して理解する必要がある。また、AI開発ではソースコードの公開が必須であるが、AI開発者はフェイクを見分ける技術の開発も求められている。

出典: “Sara”

米国大統領選挙への介入

今年11月には米国大統領選挙が行われ、既に、ロシアや中国やイランが情報操作作戦を展開している。国家情報局・防諜部門(National Counterintelligence and Security Center)によると、ロシアはトランプ大統領再選を目指し、中国とイランはバイデン候補を支援する情報操作を展開していると報告している。また、Black Hatセキュリティ国際会議で、ロシアの情報操作技術が他国に比べ圧倒的に高く、最も警戒すべき国家であると報告された。米国や西側諸国はAIを悪用した攻撃に対する防衛能力が試されている。