カテゴリー別アーカイブ: セキュリティ

米国の小売店舗は万引き防止のためAI監視カメラの導入を進める、人権団体は消費者保護を理由に廃止を求める

米国の主要小売店舗でAI監視カメラの導入が進んでいる。店舗に設置された監視カメラの映像をAIで解析し、商品窃盗者の身元を特定する目的で使われる。消費者が気付かないうちに普及が進み、今ではApple Storeなど大手小売店舗がAI監視カメラを導入している。しかし、人権保護団体は、AI監視カメラは消費者の誤認逮捕につながるとして、小売店舗に対しシステムの使用を停止するよう求めている。

出典: Macy’s

老舗デパート・メイシーズ

米国のデパートやスーパーマーケットでAI監視カメラの導入が進んでいる。老舗デパートであるMacy’sは、顔認識システムを導入していることを明らかにしている。その理由として、犯罪組織が特定地域で商品窃盗を繰り返しており、これを抑止するためにAI監視カメラを利用すると説明している。実際に、米国は昨年から治安が悪化しており、有名店舗で高級品を狙った窃盗事件が多発している。

アップルストアー

Appleは何も公表していないが、Apple StoreはAI監視カメラを導入し、商品窃盗を防止していることが判明した。Appleとそのセキュリティ企業Security Industry Specialistsは消費者から顔認識システムに関し訴訟を受けている。訴状によると、Appleは顔認識システムで窃盗者を特定したが、これはアルゴリズムのエラーで、別の人物がその人物になりすまして犯行を実行したことが判明した。このため、消費者は誤認逮捕されたとしてAppleなどを提訴している。この訴訟が切っ掛けでAppleがAI監視カメラを導入していることが明らかになった。

出典: Apple  

セブンイレブンなど

この他に、コンビニ7-Elevenはオーストラリアの全店舗でAI監視カメラを導入している。また、ハンバーガーチェインのMcDonald’sは2019年、注文受付カウンターで顔認識システムのプロトタイプの運用を開始した。現在、マクドナルドは監視カメラで店舗内の顧客を撮影し、セキュリティを強化している。一方で、AI監視カメラを使用しないと表明する企業も少なくない。Starbucksは顔認識システムを利用しないことを明言しており、顧客のプライバシーを保護する方針を維持している。

多くの店舗が顔認識システムを導入

人権監視団体「Fight for the Future」は顔認識システムの利用状況をまとめ、これをデータベースとして公開している。これによると、調査した53社のうち35社が顔認識システムを使っている。消費者が気付かないうちに米国小売店で顔認識システムの普及が進み、全体の2/3がAI監視カメラを導入している。現在、人権監視団体は小売店舗で顔認識システムの利用を停止するための活動を展開している。

反対する理由

人権監視団体がこの運動を展開する理由は消費者や店舗従業員の保護にある。顔認識アルゴリズムは判定精度が十分でなく、システムは間違った判定を下すことが少なくない。このため、Apple Storeのケースのように、消費者が誤認逮捕されることになる。また、顔認識システムは消費者の挙動を収集するためにも使われる。AI監視カメラで消費者の店内での挙動を把握し、この情報を元にターゲット広告を配信する。更に、AI監視カメラは小売店舗従業員の仕事ぶりを監視する目的で使われ、アルゴリズムが動きを逐一モニターする。

出典: Fight for the Future

警察は顔認識システムの使用を中止

顔認識システムの妥当性についての議論が始まり、全米の警察はその利用を禁止する方向に進んでいる。サンフランシスコ市は警察が顔認識技術を使うことを禁止した。これがトリガーとなり、対岸のオークランド市とバークレー市も顔認識技術の使用を禁止し、警察はこのシステムの使用を中止した。この背後には政府がAIで市民を監視することへの漠然とした恐怖心があり、顔認識システム禁止の動きが全米に広がる勢いとなっている。

欧州と米国の動き

消費者はAIに対する漠然とした恐怖から、顔認識システムに過剰に反応していることも事実である。AI監視カメラを正しく使うと、犯罪を抑止し、地域のセキュリティが向上する。このため、欧州委員会(European Commission)はAI監視カメラについてその使用を認めている。但し、AI監視カメラで顔認識システムが稼働していることを明示することを義務付けており、消費者への配慮を求めている。米国も同様な方向に進んでおり、警察での使用禁止とは対照的に、小売店舗や企業でAI監視カメラの導入が進んでいる。

Googleは監視カメラ最新モデルを発表、カメラにAIチップを搭載し検知精度が向上、エッジAIへの流れが加速

Googleは監視カメラ「Nest Cam」とドアベル「Nest Doorbell」の最新モデルを発表した。カメラはAIチップを搭載し、画像解析処理をデバイス上で実行する。クラウドを介すことなく、デバイス上で機械学習を実行でき、高精度で不審者などのオブジェクトを検知する。Googleはスマホ最新モデルPixel 6に続き、スマートホーム製品でもエッジAIを採用し、デバイスのAI処理性能を大幅に向上した。

出典: Google

Nest CamとNest Doorbell

Googleはスマートホーム製品を「Nest」のブランドで提供しており、監視カメラ「Nest Cam」とドアベル「Nest Doorbell」の最新モデルを開発した。Nest Camは二機種あり、屋外・屋内モデル(上の写真、右端)と屋内モデル(中央)で、前者はバッテリーで稼働する。ドアベル(左側)もバッテリーで稼働し、配線は不要で簡単に設置できることが特徴となる。デザインも一新され、シンプルで背景に調和する色調や形状となった。

監視カメラ

Nest CamとNest Doorbellはカメラが捉えた映像をAIで解析してイベントを検知する構成となる。Nest Camは家屋の外壁などに取り付けて利用する(下の写真右側)。Nest CamのAIはオブジェクトの種別を判定し、人や動物やクルマを検知すると(左側)、それをアラートとして利用者のスマホに送信する(中央)。外出先からでも自宅のセキュリティを確認することができる。

出典: Google  

ドアベル

Nest Doorbellはドアベルであるがカメラを搭載しており、監視カメラとして機能する(下の写真中央)。Nest Doorbellは人の動きを検知し、訪問者があると、それをアラートとして利用者のスマホに送信する(左側)。利用者はアプリで訪問者を確認し、マイクボタンを押すとそのまま会話することができる。また、オンラインショッピングで商品が配送されるとそれを認識し(右側)、利用者に通知する。

出典: Google  

AIスピーカーとの連携

Googleは監視カメラやドアベルをスマートホームの主要製品と位置付け、AIスピーカーとの連携を強化している。米国の家庭でAIスピーカーの導入が進んでいるが、Googleは「Nest Mini」(下の写真左端)や「Nest Hub」(右端)を提供している。Nest Hubはディスプレイを搭載したAIスピーカーで、監視カメラやドアベルがイベントを検知すると、カメラの映像がストリーミングされる。訪問者をディスプレイで確認してドアを開けるなどの応対ができる。

出典: Google  

Tensorチップ

Nest CamとNest DoorbellはAIチップ「Tensor Processor(TPU)」を搭載しており、カメラの映像をデバイス上で解析する。従来はカメラの映像をクラウドに送付して解析していたが、これをデバイス上で処理することで性能アップを達成した。具体的には、Nest CamとNest Doorbellは現行製品と比較して、二倍のピクセルとフレームを処理することができ、判定精度が大きく向上した。GoogleはエッジAIの開発を進め、先週発表されたPixel 6に続き、NestでもAIチップをデバイスに搭載する構成を取る。GoogleはIoTデバイス向けのAIチップを「Edge TPU」として販売している(下の写真)。

出典: Google  

実際に使ってみてみると

実際に、Nest Doorbellの現行モデルを使っているが、玄関先のセキュリティが強化され、安心感が大幅に向上した。使い方はシンプルで、スマホアプリ「Nest」からドアベルが捉えた玄関先のビデオを見ることができる(下の写真左端)。また、来客があると、アラートをスマホで受信する。更に、商品が宅配されたとき、AIはそのイベントを把握し、スマホにメッセージを送信する(中央最上段)。玄関先に置かれた商品を手早く取り上げることで盗難被害を防ぐことができる。

出典: VentureClef  

クラウドに映像を記録

撮影されたビデオはクラウド「Nest Aware」に記録され、これを検索することで特定のイベント(商品配送など)を再生できる(上の写真右端)。一方、木の陰などをイベントとして捉え、アラートを受け取ることがあり、判定精度が課題であるとも感じる。最新モデルはAIチップが搭載され、画像解析の判定精度が上がり、誤検知が減ると期待される。

AIドアベルが人気商品

いま米国でAI監視カメラの導入が進んでいる。特に、AIドアベルの人気が高く、多くの家庭がセキュリティ強化のために設置している。Googleからは上述のNest Doorbellが出荷されている。また、Amazonからは「Ring Doorbell」が提供され、両者が人気商品で市場を二分している。これらは、宅配商品の盗難を防ぐために、また、自宅前のイベントを監視するために使われている。GoogleはドアベルのAI性能を向上することでAmazonとの差別化を図っている。

国民から信頼されるAIを探求、米国政府はAIの信頼性を指標化し計測する研究を開始

セキュリティの国際会議RSA Conference 2021(#RSAC)がオンラインで開催された。AIが社会に幅広く浸透し、その効用が理解されると同時に、国民はAIに漫然とした不安を抱き、その信頼性が低迷している。この問題に対処するため、米国政府はAIの機能を定義し、その信頼性を査定する研究を始めた。これはAIの品質を評価する試みで、医薬品と同じように、AI製品に品質保証書を添付する方策を検討している。

出典: National Institute of Standards and Technology

アメリカ国立標準技術研究所

RSA Conferenceでアメリカ国立標準技術研究所(National Institute of Standards and Technology, NIST)のElham Tabassiがこの取り組みを説明し、信頼できるAI「Trustworthy AI」に関する研究成果を公表した。社会でAIが幅広く使われ、生産性が向上し、消費者は多大な恩恵を受けている。しかし同時に、失業者が増え、所得格差が増大しAIの問題点が顕著になっている。このため、NISTはAIの危険性を定量的に把握し、共通の理解を持つための研究を進めている。

AIの品質保証書

NISTはAIの信頼性を計測し、それを向上させるプログラム「Fundamental and Applied Research and Standards for AI Technologies (FARSAIT)」をスタートした。信頼できるAIとは何かを定義し、それらの要素を計測し、AIの安全性に関する指標を制定することを目標とする。国民はAIに関し漠然とした不安を抱いているが、NISTはこれを科学的に定義し、AIの品質保証書を制定することがゴールとなる。

品質保証書のドラフト

既に、NISTはAIの信頼性を査定するための試案を公開している。これは「Trust and Artificial Intelligence」と呼ばれ、NISTの考え方を纏めたプロポーザルで、一般からの意見を求めている。このプロポーザルがたたき台となり、寄せられた意見を集約し、最終的なAI査定方法を制定する。

出典: National Institute of Standards and Technology

AIの信頼性を構成する要素

まず、AIの信頼性を構成する要素は何かを突き詰めることが最初のステップとなる。NISTはAIの信頼性は9つの要素で構成されるとしている(先頭の写真、枠の中)。「精度」(判定精度が高いこと)、「バイアス」(判定精度に偏りがないこと)、「説明責任」(判定理由を説明できること)、「プライバシー」(個人のプライバシーが保護されること)、「堅固」(システムが安定して稼働すること)などが構成要素になるとしている。

AI査定方法のモデル

NISTはAIの信頼性を評価するモデル「Perceived System Trustworthiness」を提案(上の写真)。これは、ユーザ(u)がシステム(s)でコンテンツ(a)を処理する際に、システムをどの程度信頼できるかというモデル(T(u,s,a))となる。このモデルは、ユーザ特性(U)とシステムの技術的信頼性(PTT、Perceived Technical Trustworthiness)から構成される。ユーザ特性とは利用者の主観で性別や年齢や性格や今までの経験などに依存する。

システムの技術的信頼性

問題はシステムの技術的信頼性(PTT)で、これをどう査定するかが課題となる。システムは上述の通り9の要素で構成され、PTTはこれら9の要素の重みづけ(Perceived Pertinence)と各要素の重要度(Perceived Sufficiency)で決まる。つまり、AIシステムの技術的信頼性は、対象とするコンテンツに対し、9の要素を査定し、統合した値で決まる。

AI信頼性を評価する事例

NISTは、AIの信頼性を評価する事例として、1)AIがガンを判定するケースと、2)AIが音楽を推奨するケースを提示している。前者は、画像解析AIが患者のレントゲン写真からガンを判定するケース。後者は、音楽ストリーミングでAIが視聴者の履歴を解析し好みの曲を推奨するケース。

9要素の評価

AIの信頼性は9の要素で構成されるが、その重要度は対象とするコンテンツにより決まる。ガン判定AI(下のグラフ、左側)と音楽推奨AI(右側)では各要素の重みが異なる。例えば、判定の「精度」に関しては、ガン判定AIでは極めて重要であるが、音楽推奨AIでは厳しい精度は求められない。仮に、AIの判定精度が90%と同じでも、ガン判定AIでは不十分と感じるが、音楽推奨AIではこれで十分と感じる。

出典: National Institute of Standards and Technology

AI信頼性評価結果:「精度」のケース

NISTは、9項目の中の「精度」に関して試算した結果を示している。どうちらも「精度」が90%であっても、システムの技術的信頼性(PTT)は大きく異なる(下のテーブル、右端のカラム)。ガン判定AIではPTTが0.011で、音楽推奨AIではPTTが0.092となる。つまり、ユーザは音楽推奨AIに対しては信頼感を感じるが、ガン判定AIに対しては信頼感は90%下落する。

出典: National Institute of Standards and Technology  

AIシステム全体の評価

NISTの試案では、AIが判定する対象が何であるかが、ユーザの信頼感に大きく寄与する。音楽推奨AIのように、判定が外れても大きな問題がない場合は、AIへの評価は甘くなる。一方、ガン判定AIでは、判定が外れると生死にかかわる重大な問題となり、AIに対し厳格な精度を要求する(先頭の写真)。このように、AIの信頼性は対象コンテンツの内容により決定される。上記は「精度」に関する信頼性の結果で、その他8の要素を評価して、それらを統合してAIシステムに対する最終評価が決まる。

最終ゴールは法令の制定

これはNISTの試案で、このモデルを使い実際に計測して、AIの信頼性が数値として示される。これから、一般からの意見を取り込み、AIの信頼性に関するモデルが改良され、最終案が出来上がる。これがAI品質保証書のベースとなり、NISTはこれを法令で制定することを最終ゴールとしている。最終的にAI品質保証書に関する法令が制定されると、AI企業はこの規定に沿って対応することが求められる。

出典: Pfizer Inc. / BioNTech Manufacturing GmbH  

AI企業の責務

どのような内容になるかは今の段階では見通せないが、AI製品に機能概要や制限事項や信頼性など、品質に関する情報を添付することを求められる可能性もある。医薬品を買うと薬の効能や副作用や注意点が記載された説明書が添付されている(上の写真、Pfizer製コロナワクチンの品質保証書の事例、効用や副反応などが記載されている、ワクチン接種時に手渡された)。これと同様に、AI製品を販売するときは、企業は製品説明書や品質保証書を表示することを求められる可能性が高まってきた。

AIで高性能スパムフィルターを開発、言語モデルGPT-2がスパムを生成しアルゴリズムを教育

セキュリティの国際会議RSA Conference 2021(#RSAC)が2021年5月、バーチャルで開催された。今年は、AIを活用したセキュリティ技術に注目が集まり、多くのソリューションが登場した。一方、AIを実装したセキュリティ製品の効果は限定的で、市場の期待に沿うソリューションは少ないことも指摘された。米国でランサムウェアによる被害が拡大する中、AIがサイバー攻撃を防御できるのか、その実力が問われている。

出典: RSA

言語モデルとスパムフィルター

AI言語モデルの開発でブレークスルーが起こっている。OpenAIは大規模な言語モデル「GPT-3」を開発し、AIが言葉を理解し自然な文章を生成できるようになった。情報セキュリティ企業は言語モデルに着目し、AIでサイバー攻撃を防御する手法を開発している。セキュリティ市場のトップベンダーであるSophosはAI研究機関「Sophos AI」を設立し、機械学習や大規模AIの研究を進めている。Sophosは言語モデルで高精度なスパムフィルターを生成する技法を発表した。

Sophosの研究概要

この研究は、AIでスパムを生成し、これを使ってスパムフィルターのアルゴリズムを教育するというもの。スパムフィルターの開発では高品質な教育データの整備が必要であるが、人間に代わり言語モデルがスパムを生成する。AIが生成したスパムでAIアルゴリズムを教育すると、高精度でスパムを検知でき、開発プロセスが大幅に効率化される。この研究ではOpenAIが開発した中規模の言語モデル「GPT-2」が使われた。

スパムとは

スパムとは受信者の意向を無視して送られるメッセージで、大量に配信され、宣伝広告を目的とする。また、フィッシングやマルウェアを拡散する目的でも使われ、迷惑メールだけでなく、サイバー攻撃の媒体としても使われる。これらのスパムを収集して教育データとして使うが、SophosはこれをGPT-2で生成する技術を開発した。(下のテーブル: GPT-2で生成したスパム。)

出典: Younghoo Lee  

スパム検知技術

スパムフィルター開発の歴史は長く様々な技法が登場している。フィルターが誕生した当初は、特定用語や発信者のアドレスなどをキーにメッセージを選別した(Signature方式)。今では機械学習が主流となり、言葉の重みを統計的に査定する方式(term frequency–inverse document frequency)や異なる手法を併用するモデル(Random Forest Modelなど)が使われている。

ニューラルネットワーク

更に、ニューラルネットワークを使い、スパムフィルターの精度を上げる研究が進んでいる。ニューラルネットワークとして「LSTM(Long Short-Term Memory)」や「CNN(Convolutional Neural Network)」や「Transformer」が使われ、単語の関係を把握してスパムを判定する。特に注目されているのがTransformerで、単語の意味からその関係を把握する(Attentionベースと呼ばれる)。

Transformerベースの言語モデル

TransformerはGoogleが開発した技術でこれが言語モデルのブレークスルーとなった。GoogleはTransformerを実装した言語モデル「BERT」を開発し高度な言語機能を実証した。また、OpenAIはTransformerを実装した「GPT」を開発し、最新モデル「GPT-3」は人間レベルの言語能力を示した。Sophosはこの中で中規模モデル「GPT-2」を使ってスパムフィルターを開発した。

教育データの生成

スパムフィルター開発ではアルゴリズムを教育するためのデータの生成で時間を要し、システム開発で一番時間を要するステップとなる。スパムのデータ数が限られるため、通常は人間がサンプルを改造して件数を増やす(Data Augmentationと呼ばれる)。具体的には、スパムの文字を同意語で置き換え、また、文字をランダムに挿入・削除するなどの操作をする。このマニュアル作業に代わり、言語モデルGPT-2が高品質なスパムのサンプルを生成する。

GPT-2の制御技術

一方、GPT-2は文章を生成するAIであるが、生成された文章はランダムで、必ずしもスパムとして使えるわけではない。このため、言語モデルが生成する内容やスタイルを制御する技術が必要となる。Sophosは「PPLM (Plug and Play Language Model)」と呼ばれる技法を使い、目的に沿ったスパムを生成している。(下のグラフィックス、言語モデルのパラメータを変更し目的に沿った内容の文章を生成。下記はポジティブなトーンの文章を生成する事例。)

出典: Uber Research

PPLMとは

PPLMとはUberの研究所Uber Researchにより開発された技法で、GPT-2など言語モデルに制御機構(Attribute Models)を付加し、目的に沿った文章を生成する。制御機構でセンティメントを指定するとそれに沿った文章が生成される。(下のテーブル、Positive及びNegativeと示された文章で、ポジティブ・ネガティブなトーンとなる)。また、トピックスを指定するとこのテーマで文章が生成される。(下のテーブル、Science及びPoliticsと示された文章で、科学及び政治のテーマに沿った文章が生成される)。因みに、PPLMで何も指定しないとニュートラルな文章が生成される(下のテーブル、[-]と示された部分)。

出典: Uber Research

生成されたスパムとハム

SophosはGPT-2をPPMLで制御してスパム生成した(先頭から二番目のグラフィックス)。このケースではGPT-2は「Santa calling! Would your little」という文字に続くスパムを生成した。また、GPT-2はスパムだけでなく通常のメッセージ(Hamと呼ばれる)を生成することもできる(下のグラフィックス)。このケースではGPT-2に「A lot of this sickness」に続くハムを生成するよう指示した。

出典: Younghoo Lee

スパム検知アルゴリズムの教育

前述の通り、GPT-2はスパム検知フィルターとして機能する。同じアルゴリズムがスパムを生成すると同時にスパムを検知する。GPT-2にテキストを入力し、スパムかどうか尋ねると、その判定結果を回答する。生成したスパムでGPT-2のアルゴリズムを教育すると、人間が手作業で収集・編集したスパムで教育するより高い判定精度を示した。GPT-2で教育データの生成を自動化でき、また、検知精度も向上することが分かった。

AI対AIの戦い

今ではボットがスパムメッセージを生成し偽情報を拡散し消費者を攻撃する。これらのメッセージをGPT-2が解析し、スパムを見つけ出し、それをフィルタリングする。スパムフィルタリングはAIとAIの対決で、如何に高度なアルゴリズムを使うかで勝敗が決まる。このため、GPT-2を最新のスパムで教育しアルゴリズムをアップデートする必要がある。また、次のステップとしては、より高度な言語モデルを使いスパムフィルターの精度を上げることが重要となる。

個人のプライバシーを侵害するAIへ”リベンジ”、顔認識アルゴリズムを攻撃し身を守る技術

我々の顔写真が本人の知らないうちに顔認識システムで使われている。自撮りした写真をFacebookやInstagramに掲載するが、AI企業はこれをダウンロードし、顔認識アルゴリズムを教育する。開発された顔認識AIは警察の犯罪捜査で使われている。大学研究室で個人のプライバシーを守る技法が開発された。

出典: Emily Wenger et al.

シカゴ大学の研究成果

シカゴ大学(University of Chicago)のSAND Lab (Security, Algorithms, Networking and Data Lab)は顔認識システムから個人のプライバシーを守る技術を開発した。この技法は「Fawkes」と呼ばれ、顔認識システムのアルゴリズムを誤作動させ、ストーカーなどから身元を特定されるのを防ぐ方式を考案した。この技法を使うと、顔認識システムが顔写真を読み込んでも正しく判定できなくなる。

顔認識システムとソーシャルメディア

いま米国で顔認識アルゴリズムを教育するために消費者の顔写真が無断で利用されていることが問題となっている。ニューヨークの新興企業Clearviewは高精度な顔認識AIを開発し、全米の警察が犯罪捜査で利用している(下の写真)。Clearviewはソーシャルメディアに公開されている顔写真をダウンロードしてこのシステムを開発した。ダウンロードした写真の数は30億枚を超え、世界最大規模の顔写真データセットを作り上げた。

出典: Clearview  

プライバシー問題

ここには日本人の顔写真が含まれていることは間違いなく、本人の了解なくアルゴリズム教育で使われている。市民団体は、個人の顔写真を無断で使用することは違法であるとして、Clearviewに対し集団訴訟を起こした。一方、Clearviewは公開された顔写真を使う権利は憲法で保障されているとのポジションを取り、両者の意見が正面から対立している。

顔認識システムからプライバシーを守る

このためSAND Labは自制手段として顔認識システムからプライバシーを守る技法Fawkesを開発した。Fawkesは顔写真を加工する技術で、オリジナルの写真(先頭の写真、Originalの部分)に肉眼では分からない変更を加え、AIが顔を正しく判定できない改造写真(先頭の写真、Cloakedの部分)を生成する。AI企業が改造写真を使って顔認識アルゴリズムを教育すると、完成したAIは正常に機能しなくなる。

Fawkesの使い方:SNSには改造した写真を掲載

Fawkesで加工した顔写真をFacebookやInstagramなどに掲載しておくと、個人のプライバシーを守ることができる。AI企業はソーシャルメディアに掲載された顔写真をスクレイピングし、アルゴリズムの教育で使用する。しかし、Fawkesで加工した改造写真でアルゴリズムを教育すると、写真には”毒”が盛られていて、完成したアルゴリズムは本人を正しく判定できない。一方、肉眼ではその違いは分からず、他の利用者は写真から本人を認識できる。

(下の写真左側:改造されていない写真でアルゴリズムを教育するとAIは正しく判定する。右側:改造写真で教育されたアルゴリズムはUさんの写真をTさんと判定する)。

出典: Emily Wenger et al.

Fawkesの使い方:長期レンジの戦略

上述の通り、Clearviewは既にオリジナルの顔写真をスクレイピングしてアルゴリズムを開発しており、顔認識システムは正常に動作する。しかし、Clearviewは定常的にソーシャルメディアに掲載されている顔写真をスクレイピングし、アルゴリズムをアップデートしている。このため、ソーシャルメディアに改造した写真を掲載しておくことで、改版されたアルゴリズムが機能しなくなる。更に、多くのAI企業がネットに掲載されている顔写真を使ってアルゴリズムを教育しており、新規に開発される顔認識システムに対する防衛手段となる。

Fawkesの機能概要

Fawkesはオリジナルの顔写真に特殊な加工を施し、顔認識システムを誤作動する技法である(下のグラフィックス、左側)。Fawkesはオリジナルの顔写真の特徴量を抽出し(Feature Extractor)、それを別人(Target T)のものに置き換える。ただし、写真の変更は最小限にとどめ、肉眼ではその変更を検知できない。AI企業が改造さた写真を使って顔認識アルゴリズムを教育すると、完成したシステムはオリジナルの顔写真から本人を特定できなくなる(下のグラフィックス、右側)。

出典: Emily Wenger et al.

その他の防衛手段

個人のプライバシーを守るため、顔認識システムを誤作動させる研究が進んでいる。メリーランド大学(University of Maryland)のコンピュータサイエンス学部はオブジェクト認識システムに検知されない特殊なパターンを開発した。このパターンをプリントしたプルオーバーを着ると、人物を検知するシステムに検知されない。これを着て街を歩くと、セキュリティカメラの顔認識システムをかいくぐることができる。この他に、顔に特殊なメーキャップをすると顔認識システムが顔として認識できなくなる。

(下の写真:特殊なパターンをプリントしたプルオーバーを着た人物はオブジェクト検知技術「YOLOv2」に検知されない。YOLOv2はリアルタイムのオブジェクト認識システムで、カメラに映った人物を特定しボックスで囲う。)

出典: Zuxuan Wu et al.  

Fawkesの特徴

特殊なプリントは顔認識システムの検知から逃れプライバシーを自衛するために使われる。一方、Fawkesはコンセプトが根本的に異なり、顔認識システムのアルゴリズムを攻撃し、その機能を停止させる技法である。AIシステムへの攻撃で、運用者が気付かないうちにアルゴリズムが機能不全に陥る。プライバシーを守るという目的は同じであるが、Fawkesはより高度な技法となる。

AIは攻撃を受けやすい

同時にFawkesは、AIは外部からの攻撃に対し脆弱であることを示している。改造データでAIが攻撃を受けると、アルゴリズムの判定精度が下がり、また、機能不全に陥ることが明らかになった。AIは常にサイバー攻撃の対象となり、攻撃を受けたことを把握しにくいという特徴がある。AI開発者は個人のプライバシーを守ることに加え、ハッカーからの攻撃に対処する方策を講じる必要がある。