カテゴリー別アーカイブ: セキュリティ

AIで高性能スパムフィルターを開発、言語モデルGPT-2がスパムを生成しアルゴリズムを教育

セキュリティの国際会議RSA Conference 2021(#RSAC)が2021年5月、バーチャルで開催された。今年は、AIを活用したセキュリティ技術に注目が集まり、多くのソリューションが登場した。一方、AIを実装したセキュリティ製品の効果は限定的で、市場の期待に沿うソリューションは少ないことも指摘された。米国でランサムウェアによる被害が拡大する中、AIがサイバー攻撃を防御できるのか、その実力が問われている。

出典: RSA

言語モデルとスパムフィルター

AI言語モデルの開発でブレークスルーが起こっている。OpenAIは大規模な言語モデル「GPT-3」を開発し、AIが言葉を理解し自然な文章を生成できるようになった。情報セキュリティ企業は言語モデルに着目し、AIでサイバー攻撃を防御する手法を開発している。セキュリティ市場のトップベンダーであるSophosはAI研究機関「Sophos AI」を設立し、機械学習や大規模AIの研究を進めている。Sophosは言語モデルで高精度なスパムフィルターを生成する技法を発表した。

Sophosの研究概要

この研究は、AIでスパムを生成し、これを使ってスパムフィルターのアルゴリズムを教育するというもの。スパムフィルターの開発では高品質な教育データの整備が必要であるが、人間に代わり言語モデルがスパムを生成する。AIが生成したスパムでAIアルゴリズムを教育すると、高精度でスパムを検知でき、開発プロセスが大幅に効率化される。この研究ではOpenAIが開発した中規模の言語モデル「GPT-2」が使われた。

スパムとは

スパムとは受信者の意向を無視して送られるメッセージで、大量に配信され、宣伝広告を目的とする。また、フィッシングやマルウェアを拡散する目的でも使われ、迷惑メールだけでなく、サイバー攻撃の媒体としても使われる。これらのスパムを収集して教育データとして使うが、SophosはこれをGPT-2で生成する技術を開発した。(下のテーブル: GPT-2で生成したスパム。)

出典: Younghoo Lee  

スパム検知技術

スパムフィルター開発の歴史は長く様々な技法が登場している。フィルターが誕生した当初は、特定用語や発信者のアドレスなどをキーにメッセージを選別した(Signature方式)。今では機械学習が主流となり、言葉の重みを統計的に査定する方式(term frequency–inverse document frequency)や異なる手法を併用するモデル(Random Forest Modelなど)が使われている。

ニューラルネットワーク

更に、ニューラルネットワークを使い、スパムフィルターの精度を上げる研究が進んでいる。ニューラルネットワークとして「LSTM(Long Short-Term Memory)」や「CNN(Convolutional Neural Network)」や「Transformer」が使われ、単語の関係を把握してスパムを判定する。特に注目されているのがTransformerで、単語の意味からその関係を把握する(Attentionベースと呼ばれる)。

Transformerベースの言語モデル

TransformerはGoogleが開発した技術でこれが言語モデルのブレークスルーとなった。GoogleはTransformerを実装した言語モデル「BERT」を開発し高度な言語機能を実証した。また、OpenAIはTransformerを実装した「GPT」を開発し、最新モデル「GPT-3」は人間レベルの言語能力を示した。Sophosはこの中で中規模モデル「GPT-2」を使ってスパムフィルターを開発した。

教育データの生成

スパムフィルター開発ではアルゴリズムを教育するためのデータの生成で時間を要し、システム開発で一番時間を要するステップとなる。スパムのデータ数が限られるため、通常は人間がサンプルを改造して件数を増やす(Data Augmentationと呼ばれる)。具体的には、スパムの文字を同意語で置き換え、また、文字をランダムに挿入・削除するなどの操作をする。このマニュアル作業に代わり、言語モデルGPT-2が高品質なスパムのサンプルを生成する。

GPT-2の制御技術

一方、GPT-2は文章を生成するAIであるが、生成された文章はランダムで、必ずしもスパムとして使えるわけではない。このため、言語モデルが生成する内容やスタイルを制御する技術が必要となる。Sophosは「PPLM (Plug and Play Language Model)」と呼ばれる技法を使い、目的に沿ったスパムを生成している。(下のグラフィックス、言語モデルのパラメータを変更し目的に沿った内容の文章を生成。下記はポジティブなトーンの文章を生成する事例。)

出典: Uber Research

PPLMとは

PPLMとはUberの研究所Uber Researchにより開発された技法で、GPT-2など言語モデルに制御機構(Attribute Models)を付加し、目的に沿った文章を生成する。制御機構でセンティメントを指定するとそれに沿った文章が生成される。(下のテーブル、Positive及びNegativeと示された文章で、ポジティブ・ネガティブなトーンとなる)。また、トピックスを指定するとこのテーマで文章が生成される。(下のテーブル、Science及びPoliticsと示された文章で、科学及び政治のテーマに沿った文章が生成される)。因みに、PPLMで何も指定しないとニュートラルな文章が生成される(下のテーブル、[-]と示された部分)。

出典: Uber Research

生成されたスパムとハム

SophosはGPT-2をPPMLで制御してスパム生成した(先頭から二番目のグラフィックス)。このケースではGPT-2は「Santa calling! Would your little」という文字に続くスパムを生成した。また、GPT-2はスパムだけでなく通常のメッセージ(Hamと呼ばれる)を生成することもできる(下のグラフィックス)。このケースではGPT-2に「A lot of this sickness」に続くハムを生成するよう指示した。

出典: Younghoo Lee

スパム検知アルゴリズムの教育

前述の通り、GPT-2はスパム検知フィルターとして機能する。同じアルゴリズムがスパムを生成すると同時にスパムを検知する。GPT-2にテキストを入力し、スパムかどうか尋ねると、その判定結果を回答する。生成したスパムでGPT-2のアルゴリズムを教育すると、人間が手作業で収集・編集したスパムで教育するより高い判定精度を示した。GPT-2で教育データの生成を自動化でき、また、検知精度も向上することが分かった。

AI対AIの戦い

今ではボットがスパムメッセージを生成し偽情報を拡散し消費者を攻撃する。これらのメッセージをGPT-2が解析し、スパムを見つけ出し、それをフィルタリングする。スパムフィルタリングはAIとAIの対決で、如何に高度なアルゴリズムを使うかで勝敗が決まる。このため、GPT-2を最新のスパムで教育しアルゴリズムをアップデートする必要がある。また、次のステップとしては、より高度な言語モデルを使いスパムフィルターの精度を上げることが重要となる。

個人のプライバシーを侵害するAIへ”リベンジ”、顔認識アルゴリズムを攻撃し身を守る技術

我々の顔写真が本人の知らないうちに顔認識システムで使われている。自撮りした写真をFacebookやInstagramに掲載するが、AI企業はこれをダウンロードし、顔認識アルゴリズムを教育する。開発された顔認識AIは警察の犯罪捜査で使われている。大学研究室で個人のプライバシーを守る技法が開発された。

出典: Emily Wenger et al.

シカゴ大学の研究成果

シカゴ大学(University of Chicago)のSAND Lab (Security, Algorithms, Networking and Data Lab)は顔認識システムから個人のプライバシーを守る技術を開発した。この技法は「Fawkes」と呼ばれ、顔認識システムのアルゴリズムを誤作動させ、ストーカーなどから身元を特定されるのを防ぐ方式を考案した。この技法を使うと、顔認識システムが顔写真を読み込んでも正しく判定できなくなる。

顔認識システムとソーシャルメディア

いま米国で顔認識アルゴリズムを教育するために消費者の顔写真が無断で利用されていることが問題となっている。ニューヨークの新興企業Clearviewは高精度な顔認識AIを開発し、全米の警察が犯罪捜査で利用している(下の写真)。Clearviewはソーシャルメディアに公開されている顔写真をダウンロードしてこのシステムを開発した。ダウンロードした写真の数は30億枚を超え、世界最大規模の顔写真データセットを作り上げた。

出典: Clearview  

プライバシー問題

ここには日本人の顔写真が含まれていることは間違いなく、本人の了解なくアルゴリズム教育で使われている。市民団体は、個人の顔写真を無断で使用することは違法であるとして、Clearviewに対し集団訴訟を起こした。一方、Clearviewは公開された顔写真を使う権利は憲法で保障されているとのポジションを取り、両者の意見が正面から対立している。

顔認識システムからプライバシーを守る

このためSAND Labは自制手段として顔認識システムからプライバシーを守る技法Fawkesを開発した。Fawkesは顔写真を加工する技術で、オリジナルの写真(先頭の写真、Originalの部分)に肉眼では分からない変更を加え、AIが顔を正しく判定できない改造写真(先頭の写真、Cloakedの部分)を生成する。AI企業が改造写真を使って顔認識アルゴリズムを教育すると、完成したAIは正常に機能しなくなる。

Fawkesの使い方:SNSには改造した写真を掲載

Fawkesで加工した顔写真をFacebookやInstagramなどに掲載しておくと、個人のプライバシーを守ることができる。AI企業はソーシャルメディアに掲載された顔写真をスクレイピングし、アルゴリズムの教育で使用する。しかし、Fawkesで加工した改造写真でアルゴリズムを教育すると、写真には”毒”が盛られていて、完成したアルゴリズムは本人を正しく判定できない。一方、肉眼ではその違いは分からず、他の利用者は写真から本人を認識できる。

(下の写真左側:改造されていない写真でアルゴリズムを教育するとAIは正しく判定する。右側:改造写真で教育されたアルゴリズムはUさんの写真をTさんと判定する)。

出典: Emily Wenger et al.

Fawkesの使い方:長期レンジの戦略

上述の通り、Clearviewは既にオリジナルの顔写真をスクレイピングしてアルゴリズムを開発しており、顔認識システムは正常に動作する。しかし、Clearviewは定常的にソーシャルメディアに掲載されている顔写真をスクレイピングし、アルゴリズムをアップデートしている。このため、ソーシャルメディアに改造した写真を掲載しておくことで、改版されたアルゴリズムが機能しなくなる。更に、多くのAI企業がネットに掲載されている顔写真を使ってアルゴリズムを教育しており、新規に開発される顔認識システムに対する防衛手段となる。

Fawkesの機能概要

Fawkesはオリジナルの顔写真に特殊な加工を施し、顔認識システムを誤作動する技法である(下のグラフィックス、左側)。Fawkesはオリジナルの顔写真の特徴量を抽出し(Feature Extractor)、それを別人(Target T)のものに置き換える。ただし、写真の変更は最小限にとどめ、肉眼ではその変更を検知できない。AI企業が改造さた写真を使って顔認識アルゴリズムを教育すると、完成したシステムはオリジナルの顔写真から本人を特定できなくなる(下のグラフィックス、右側)。

出典: Emily Wenger et al.

その他の防衛手段

個人のプライバシーを守るため、顔認識システムを誤作動させる研究が進んでいる。メリーランド大学(University of Maryland)のコンピュータサイエンス学部はオブジェクト認識システムに検知されない特殊なパターンを開発した。このパターンをプリントしたプルオーバーを着ると、人物を検知するシステムに検知されない。これを着て街を歩くと、セキュリティカメラの顔認識システムをかいくぐることができる。この他に、顔に特殊なメーキャップをすると顔認識システムが顔として認識できなくなる。

(下の写真:特殊なパターンをプリントしたプルオーバーを着た人物はオブジェクト検知技術「YOLOv2」に検知されない。YOLOv2はリアルタイムのオブジェクト認識システムで、カメラに映った人物を特定しボックスで囲う。)

出典: Zuxuan Wu et al.  

Fawkesの特徴

特殊なプリントは顔認識システムの検知から逃れプライバシーを自衛するために使われる。一方、Fawkesはコンセプトが根本的に異なり、顔認識システムのアルゴリズムを攻撃し、その機能を停止させる技法である。AIシステムへの攻撃で、運用者が気付かないうちにアルゴリズムが機能不全に陥る。プライバシーを守るという目的は同じであるが、Fawkesはより高度な技法となる。

AIは攻撃を受けやすい

同時にFawkesは、AIは外部からの攻撃に対し脆弱であることを示している。改造データでAIが攻撃を受けると、アルゴリズムの判定精度が下がり、また、機能不全に陥ることが明らかになった。AIは常にサイバー攻撃の対象となり、攻撃を受けたことを把握しにくいという特徴がある。AI開発者は個人のプライバシーを守ることに加え、ハッカーからの攻撃に対処する方策を講じる必要がある。

バイデン政権は極右団体による国内テロとの戦いを表明、米国市民の多くがQanonなどの陰謀説を信じている

トランプ前大統領の支持者がアメリカ連邦議会に乱入した事件は米国社会の分断を象徴する事象となった(下の写真)。事件の背景には、米国市民の1/3がQanonなどの陰謀説を信じているという事実がある。この襲撃事件に触発され、一版市民が過激化し、極右団体に加わっている。このため、アメリカ合衆国国土安全保障省は、極右団体による国内テロが発生する危険性があるとして、警戒情報を発令した。過去10年はイスラム過激派組織によるテロとの戦いであったが、これからの10年は極右団体による国内テロとの戦いになる。

出典: CNN

トランプ前大統領と極右思想

トランプ前大統領と極右思想は密接な関係にある。極右思想の代表がQanonで、政治的な陰謀論(Conspiracy Theory)として米国社会に幅広く浸透している。一部の極右団体がこれを信奉するだけでなく、社会の中で大きな存在感を示している。トランプ前大統領がQanonを擁護し、Qanonは前大統領を政敵から守ってきた。また、連邦議会議員の中にもQanon支持者が存在する。下院議員Marjorie Taylor Greeneはその代表で、Qanon有権者を取り込み、当選を果たした。

Qanonとは

Qanonは「Q」と「anon」から成る造語で、「Q」は連邦政府のトップレベルのセキュリティ保持者で、「anon」はAnonymous(匿名の人物)を意味する。連邦政府高官が匿名で、トランプ政権転覆を企てる団体「Deep State」を排除することを目的とする。Deep Stateはエリート集団で、暗黒団体「Cabal」の指示のもと活動する。Cabalのメンバーにはオペラ・ウインフリーやジョージ・ソロスがいるとされる。これら影の人物がトランプ政権の転覆を企て、それをQanonが防衛するという荒唐無稽なストーリーとなる。(下の写真左側、活動家はQanonのシンボルマーク「Q」を身についている。)

出典: Los Angeles Times / Stripes

危険思想

このような事実は無く、Qanonが陰謀論と言われる所以である。Qanon信奉者はこの教義に基づき活動し、ヘイトスピーチや暴力行為に及び、政治や社会を脅かす。FBIはQanonを過激思想集団と位置付け、社会に脅威をもたらすとして警戒を続けている。Qanonはバイデン大統領の就任式を攻撃するとして、厳戒態勢の元で式典が実行された。また、ハリス副大統領は有色の女性であり、Qanonの標的にされている。(上の写真右側、「Q Sent Me」とはQanonに忠誠を誓うという意味。)

極右団体の活動が活発になる

Qanonの他に、多くの極右団体が活動を展開し、米国社会を不安定にしている。トランプ大統領の就任以降、米国では極右団体の活動が活発になっている。今までは、極右団体の活動は抑制されてきたが、2016年の大統領選挙で、トランプ氏が人種差別や外国人排除や女性軽視の発言を繰り返し、これが極右団体の活動を容認するものと受け止められ、これらの活動が一気に表面化した。

主な極右団体

極右団体の代表が「Proud Boys」で、白人至上主義で反イスラム教を掲げ、武器を携行して活動する。「III%er」はThree Percenters(上位3%の愛国者)と呼ばれ、アメリカを独裁政治から守ることを使命とする(下の写真左側、シンボルは星条旗にIIIを入れたデザイン)。名前の由来はアメリカ独立戦争で、国民の3%の愛国者がイギリスと戦い勝利したことによる。(これは歴史誤認でこのような事実はない。)「Oath Keeper」も私兵組織で、武器を携帯して反政府活動を展開する(下の写真右側、帽子にロゴが縫い付けられている)。この組織の特徴は現役兵士や引退した兵士をメンバーに雇い入れ、本格的な軍事活動を展開していること。これら組織のメンバーは”愛国者”を自認し、国民を”守る”ことをミッションとする。

出典: Oil City News / CNN

ソーシャルメディアの対応

主要ソーシャルメディアは、極右団体が連邦議会を襲撃したことを受け、前大統領のアカウントを閉鎖した。また、極右団体は交信のためにFacebookやTwitterなどを使っていたが、これらのアカウントも削除された。Facebookは2020年10月、Qanonに関するFacebookやInstagramのアカウントを削除した。Twitterは連邦議会攻撃事件を受けてQanonのアカウント7万件を削除した。

FacebookからParlerに

このため、極右団体はFacebookから新興ソーシャルネットワーク「Parler」に大移動を始めた。Parlerは2018年に創設されたソーシャルネットワークで、保守層を中心に利用されてきた。コンテンツの規制が緩やかなことから利用者数を伸ばしてきたが、あくまで一般ユーザを対象にサービスを運用してききた。ここに極右団体が大量に流れ込み、暴力行為やヘイトスピーチを助長する掲載が急増した。このため、ParlerをホスティングするAmazonはこのサービスを中止し、また、AppleやGoogleはParlerアプリをストアーから排除した。(下の写真、閉鎖中のParlerホームページ。CEOのJohn Matezは言論の自由を求めて戦うとの声明をここに掲載。)

出典: Parler

Telegram

このため、極右団体はTelegramへの移動を開始した。Telegramはメッセージングサービスで、ロシアの実業家Pavel Durovが運営している(下の写真)。余り知られていないが、全世界で4億人の利用者がいるとされる。Durovはソーシャルネットワーク「VK」を運用しており、ロシアのZuckerbergとも呼ばれる。Telegramは通常のメッセージサービスに加え、プライベートなフォーラムを運用しており、ここでセキュアにメッセージを交換できる。このフォーラムにアクセスするには鍵(Digital Key)が必要で、一般に知られることなく秘密裏に情報を交換できる。このため、過激派組織の温床となり、各国の治安当局から警告を受けるものの、対策は進んでいない。極右団体はここを拠点に活動を始めている。極右団体のメンバーはいわゆるデジタル・ネイティブで、ITを駆使して活動を展開する。彼らは自らを「Digital Soldier」と呼び、ソーシャルメディアの規制をかいくぐり、サイバースペースで戦闘を展開する。

出典: Voice of America

バイデン政権の課題

過激思想の9割は極右団体で、この活動は今に始まったわけでは無く、アメリカの歴史とともに歩んできた。時の政権はこの危険性を認識し、暴力行為や活動を抑制してきたため、社会の表に現れることは稀であった。しかし、トランプ政権の発足とともに、極右団体が”公認”され、活動が活性化し、殺傷事件を含む危険な行動が目立ってきた。トランプ氏が政権を去った後も、極右団体は多くの米国市民の支持を受け、活動を継続することとなる。バイデン政権はこれから極右勢力との長い戦いが始まる。

公開されているAIを悪用した攻撃が急増!!GANで高品質なフェイクメディアが量産され国家安全保障の危機

セキュリティの国際会議Black Hat 2020が開催され、最新の攻撃手法が報告された。今年は米国大統領選挙の年で、AIを使った攻撃が議論の中心となった。オープンソースとして公開されているAIを使うと、誰でも簡単に高品質のフェイクメディアを生成でき、情報操作の件数が急増している。

出典: FireEye

FireEyeのレポート

セキュリティ企業FireEyeはオープンソースのAIが悪用されている実態を報告した。これを使うと、誰でも簡単に高精度なフェイクイメージを生成でき、敵対する国家が米国などを標的に情報操作を展開している。FireEyeはシリコンバレーに拠点を置く企業でサイバー攻撃を防ぐ技術を開発している。

攻撃の概要

インターネット上にはオープンソースAI(ソースコードや教育済みのニューラルネットワーク)が公開されており、誰でも自由に使える状態になっている。これは研究開発を支援するための仕組みであり、オープンソースAIを改造して技術開発を進める。一方、この仕組みを悪用すると、簡単にフェイクメディア(偽のイメージや音声やテキスト)を生成できる。敵対国家は生成したフェイクメディアで西側諸国の世論を分断し社会を不安定にする。この情報操作は「Information Operations」と呼ばれ、米国で大統領選挙に向けて件数が急増している。

フェイクイメージ生成:StyleGAN2

情報操作で使われる手法は様々であるが、フェイクイメージを生成するために「StyleGAN2」が使われる。StyleGAN2とはNvidiaのKarrasらにより開発されたAIで、StyleGANの改良版となる。StyleGAN2はリアルなイメージを生成するだけではなく、アルゴリズムがオブジェクト(例えば顔)のパーツ(例えば目や鼻など)を把握し、異なるスタイルで対象物を描くことができる。

出典: NVIDIA Research Projects

StyleGAN2はGitHubにソースコードが公開されており、これを再教育することで目的のイメージを生成できる。オリジナルのStyleGANと比べて、StyleGAN2はエラー(Artifacts)が無くなり、イメージの品質が格段に向上した。(上の写真:StyleGAN2で生成した人間の顔のイメージ。このような人物は存在せず、攻撃者は架空の人物になりすまし、SNSで情報操作を展開する。)

StyleGAN2クラウド

アルゴリズムを再教育し実行するにはそれなりの技量がいるが、StyleGAN2のクラウドを使うと簡単にフェイクイメージを入手できる。その代表が「thispersondoesnotexist」で、StyleGAN2クラウドとしてAIが顔イメージを生成する(下の写真左端)。また、「thisartworkdoesnotexist」は抽象画を生成(下の写真中央)し、「thiscatdoesnotexist」は猫のイメージを生成する(下の写真右側)。これらはどこにも存在しない架空の人物や芸術や猫で、オンリーワンのオブジェクトとして希少価値がある。しかし、これらが悪用されると、真偽の区別がつかず、社会が混乱することになる。

出典: thispersondoesnotexist / thisartworkdoesnotexist / thiscatdoesnotexist

偽のトム・ハンクスを生成

このStyleGAN2に俳優トム・ハンクス(Tom Hanks)の写真を入力し、アルゴリズムを再教育すると、AIが本物そっくりのトム・ハンクスを生成する。(先頭の写真、左下が入力された写真で、右端が生成された偽のトム・ハンクス。)生成された顔写真はトム・ハンクスと瓜二つで、真偽の区別はできない。攻撃者はStyleGAN2を使って異なるシーン(表情や年齢やヘアスタイルなど)のトム・ハンクスを生成し、これら架空の顔写真で本人を攻撃したり、世論を操作することが懸念される。もはや、ネット上のセレブの写真は本物であるという保証はない。

フェイクボイス生成:SV2TTS

この他に、「SV2TTS」という技法を使うと、フェイクボイスを生成できる。SV2TTSとは、テキストを音声に変換する技術(text-to-speech)であるが、AIが特定人物の声を学習する(下の写真)。例えば、SV2TTSに文章を入力すると、トム・ハンクスがそれを読み上げているフェイクボイスを生成できる。この技術はGoogleのYe Jiaなどによって開発され、GitHubにソースコードが公開されている。

出典: Corentin Jemine

フェイクテキスト生成:GPT-2

更に、「GPT-2」を使うと、AIが人間のように文章を生成する。生成された文章はごく自然で、人間が作成したものと区別はつかない。GPT-2はAI研究非営利団体OpenAIにより開発され、その危険性を認識して、ソースコードは公開されていなかった。しかし、AIコミュニティが研究開発を進めるためはソースコードが必須で、OpenAIはこの方針を撤回し、GitHubにGPT-2を公開した。

GPT-2がツイートを生成

このため、テキスト生成の研究が進むと同時に、GPT-2を悪用した攻撃も始まった。GPT-2をソーシャルメディアのテキストで教育すると、AIがリアルなツイートを生成する。更に、情報操作のために発信されたツイートで教育すると、人間に代わりGPT-2が世論を操作するツイートを生成する。実際に、ロシアの情報操作機関Internet Research Agencyが発信したツイートで教育され、GPT-2が米国の世論を分断するツイートを自動で生成する。

出典: FireEye

(上の写真:GPT-2が情報操作のためのツイートを生成した事例。GPT-2は「It’s disgraceful that they are deciding to completely ban us! #Immigrants #WakeUpAmerica」と、トランプ大統領の移民禁止政策に反対するツイートを生成。GPT-2が生成するツイートは短く簡潔で、ツイッター独自の言い回しで、しばしば間違った文法の文章を生成。文章の最後にはハッシュタグを挿入。人間が生成したものとの見分けはつかず、AIが人間に代わり社会を攻撃する。)

Twitter Botsによる偽情報

いま、ツイッターにはコロナウイルスに関するツイートが数多く掲載されているが、このうち半数がAI(Twitter Botsと呼ばれる)により生成されたものである。これらツイートは社会を混乱させることを目的とし、「既往症があればコロナウイルスのPCR検査は不要」などと主張する(下の写真)。もはや、フェイクとリアルの見分けはつかず、読者は状況を総合的に判断して理解する必要がある。また、AI開発ではソースコードの公開が必須であるが、AI開発者はフェイクを見分ける技術の開発も求められている。

出典: “Sara”

米国大統領選挙への介入

今年11月には米国大統領選挙が行われ、既に、ロシアや中国やイランが情報操作作戦を展開している。国家情報局・防諜部門(National Counterintelligence and Security Center)によると、ロシアはトランプ大統領再選を目指し、中国とイランはバイデン候補を支援する情報操作を展開していると報告している。また、Black Hatセキュリティ国際会議で、ロシアの情報操作技術が他国に比べ圧倒的に高く、最も警戒すべき国家であると報告された。米国や西側諸国はAIを悪用した攻撃に対する防衛能力が試されている。

AIが業務メールを読んで詐欺を検知、自然言語解析をセキュリティに応用

先週、サンフランシスコでセキュリティのカンファレンス「RSA Conference (#RSAC2020)」が開催された。今年のテーマは「Human Element」で、技術が人々にどう役立つかのを見直そうというもの(下の写真)。技術進化が著しいが、セキュリティの目的は人間を攻撃から守ることにある。会場にはAIをセキュリティに応用したツールが数多く展示され、アルゴリズムが攻撃を防御する方向が鮮明になってきた。

出典: VentureClef

ビジネスEメール詐欺が急増

いま、米国を中心にビジネスEメール詐欺(Business Email Compromise、BEC)が急増している。ビジネスEメール詐欺とは、業務用メールを使って相手を欺き、お金を盗み取る詐欺行為を指す。サイバースペースだけでなく、実社会でも行われている詐欺行為で、誰でも攻撃者になれることから米国を中心に被害件数が急増している。

FBIレポート

アメリカ連邦捜査局(FBI)はインターネット上の詐欺行為を分析し、その結果を報告書「Internet Crime Report」として公開している。このレポートによると、2019年度の米国での被害件数は46万件で、被害総額は35億ドルとなっている(下のテーブル)。この中でビジネスEメール詐欺(BEC/EAC)の被害額がトップで、その金額は18億ドルと全体の半分を占めている(下のテーブル、最上段)。

2019年のインターネット犯罪動向

FBIレポートによると、ビジネスEメール詐欺は2013年ころから始まり、犯罪者は企業のCEOになりすまし、偽のEメールでお金を送金させる手口を取った(「CEO Fraud」と呼ばれる)。その後、詐欺の手口は広がり、社員や取引先になりすまし、偽のメールで送金を求めたり、ギフトカードを買わせる攻撃が広がった。2019年の特徴は給与振り込み詐欺で、社員になりすまし偽のメールで経理部から給与を指定口座に振り込ませる詐欺が広がった(「Payroll Fraud」と呼ばれる)。

出典: Federal Bureau of Investigation

給与振り込み詐欺の実例

ビジネスEメール詐欺では、まず、攻撃者がフィッシングなどの手法で社員の認証情報(IDとパスワード)を奪う。次に、攻撃者は社員になりすまし、偽のメールを社内や社外のターゲットに送り、犯罪者の口座にお金を送金させる。

出典: Symantec

給与振り込み詐欺のケースでは、会社の社員になりすまし、経理担当者に偽のメールを送り、指定口座に給与を振り込ませる(上の写真)。会社の社員になりすました攻撃者が、偽のメールを経理部門に送り、「給与振り込み先について、銀行口座を変更したので情報をアップデートしてほしい」と依頼。これにより、次回の給与は攻撃者が指定する銀行口座に振り込まれる。

Armorbloxというベンチャー企業

ビジネスEメール詐欺をAIで検知するソリューションの開発が進んでいる。その先頭を走るのはArmorbloxというベンチャー企業で、シリコンバレーに拠点を置きAIや自然言語解析をベースにしたEメールセキュリティ技術を開発している。業務用メールの内容をAIで解析して問題点を検知する手法を取り、Microsoft Office 365やGoogle G Suitなどをサポートしている。

AIがメールの内容を理解

ArmorbloxはAIがメールの内容を解析し、そこから攻撃の手口を検知する手法に特徴がある。AIが不正を検知すると警告メッセージを表示して注意を促す(下の写真)。具体的には、AIは「(メール発信者である)Jack Dorseyはこのアドレスからメールを発信しない」と警告。また、AIがメール本文を読み、そこには「カードを紛失したので別のカード情報を今晩までに送ってほしい」と書かれていることを理解し、AIは「今晩までという急な要請は不正の手口」と解析し、これは詐欺メールであると判定する。

出典: Armorblox

システム構成

Armorbloxは機械学習(Machine Learning)や深層学習(Deep Learning)の技法を使ってEメールを解析する。特に、自然言語解析(Natural Language Understanding)に特徴があり、メールに書かれていることを理解して、詐欺や問題点を検知する。この手法でビジネスEメール詐欺を検知するが、それ以外にも、機密情報の流出を検知する機能 (Data Loss Prevention)も備えている。

AIを教育するプロセス

Armorbloxのブース(下の写真、左側)でAIを教育する手法について説明を受けた。AIは基本教育ができており、企業はそれをそのまま使うことができる。一方、AIの検知精度を上げるため、企業は保有しているEメールのログを使ってAIを再教育する。これにより、AIは利用者の特性(名前や職務、上司関係、メールを書くスタイル)を理解し、アルゴリズムは検知精度を上げる。また、利用者がArmorbloxの判定結果を見て、それにコメントすることもできる。AIはこれらのフィードバックを学習し、更に判定精度を上げる。

出典: VentureClef

Armorbloxの特徴

市場にはビジネスEメール詐欺を検知するソフトウェアは数多く登場している。これらは、ルールベースでシステム管理者がマニュアルで特定の単語や規則を指定する。しかし、これらシステムの判定精度は高くなく、誤検知(False Positive)が多く、管理者が手作業でここから詐欺メールを選び出す作業が必要となる。これに対して、ArmorbloxはAIや自然言語解析が人間に代わりこのプロセスを実行する。

新型コロナウイルス

サンフランシスコ市は新型コロナウイルスの蔓延で非常事態宣言を発令した。展示会やイベントの中止が相次ぐ中、RSA Conferenceは予定通り開催された。会場やブースにはアルコール消毒液が置かれ (上の写真、右側)、厳戒体制での開催となった。米疾病予防管理センターは感染予防策としてSocial Distance(相手と1メートル以上離れる)とElbow Bump(握手の代わりに肘タッチ)を推奨するが、会場ではこれを励行する様子はなかった。こまめに手洗いしながらの面談となり危険を感じながらのカンファレンスとなった。