我々の顔写真が本人の知らないうちに顔認識システムで使われている。自撮りした写真をFacebookやInstagramに掲載するが、AI企業はこれをダウンロードし、顔認識アルゴリズムを教育する。開発された顔認識AIは警察の犯罪捜査で使われている。大学研究室で個人のプライバシーを守る技法が開発された。

シカゴ大学の研究成果

シカゴ大学(University of Chicago)のSAND Lab (Security, Algorithms, Networking and Data Lab)は顔認識システムから個人のプライバシーを守る技術を開発した。この技法は「Fawkes」と呼ばれ、顔認識システムのアルゴリズムを誤作動させ、ストーカーなどから身元を特定されるのを防ぐ方式を考案した。この技法を使うと、顔認識システムが顔写真を読み込んでも正しく判定できなくなる。

顔認識システムとソーシャルメディア

いま米国で顔認識アルゴリズムを教育するために消費者の顔写真が無断で利用されていることが問題となっている。ニューヨークの新興企業Clearviewは高精度な顔認識AIを開発し、全米の警察が犯罪捜査で利用している(下の写真)。Clearviewはソーシャルメディアに公開されている顔写真をダウンロードしてこのシステムを開発した。ダウンロードした写真の数は30億枚を超え、世界最大規模の顔写真データセットを作り上げた。

プライバシー問題

ここには日本人の顔写真が含まれていることは間違いなく、本人の了解なくアルゴリズム教育で使われている。市民団体は、個人の顔写真を無断で使用することは違法であるとして、Clearviewに対し集団訴訟を起こした。一方、Clearviewは公開された顔写真を使う権利は憲法で保障されているとのポジションを取り、両者の意見が正面から対立している。

顔認識システムからプライバシーを守る

このためSAND Labは自制手段として顔認識システムからプライバシーを守る技法Fawkesを開発した。Fawkesは顔写真を加工する技術で、オリジナルの写真(先頭の写真、Originalの部分)に肉眼では分からない変更を加え、AIが顔を正しく判定できない改造写真(先頭の写真、Cloakedの部分)を生成する。AI企業が改造写真を使って顔認識アルゴリズムを教育すると、完成したAIは正常に機能しなくなる。

Fawkesの使い方：SNSには改造した写真を掲載

Fawkesで加工した顔写真をFacebookやInstagramなどに掲載しておくと、個人のプライバシーを守ることができる。AI企業はソーシャルメディアに掲載された顔写真をスクレイピングし、アルゴリズムの教育で使用する。しかし、Fawkesで加工した改造写真でアルゴリズムを教育すると、写真には”毒”が盛られていて、完成したアルゴリズムは本人を正しく判定できない。一方、肉眼ではその違いは分からず、他の利用者は写真から本人を認識できる。

(下の写真左側：改造されていない写真でアルゴリズムを教育するとAIは正しく判定する。右側：改造写真で教育されたアルゴリズムはUさんの写真をTさんと判定する)。

Fawkesの使い方：長期レンジの戦略

上述の通り、Clearviewは既にオリジナルの顔写真をスクレイピングしてアルゴリズムを開発しており、顔認識システムは正常に動作する。しかし、Clearviewは定常的にソーシャルメディアに掲載されている顔写真をスクレイピングし、アルゴリズムをアップデートしている。このため、ソーシャルメディアに改造した写真を掲載しておくことで、改版されたアルゴリズムが機能しなくなる。更に、多くのAI企業がネットに掲載されている顔写真を使ってアルゴリズムを教育しており、新規に開発される顔認識システムに対する防衛手段となる。

Fawkesの機能概要

Fawkesはオリジナルの顔写真に特殊な加工を施し、顔認識システムを誤作動する技法である(下のグラフィックス、左側)。Fawkesはオリジナルの顔写真の特徴量を抽出し(Feature Extractor)、それを別人(Target T)のものに置き換える。ただし、写真の変更は最小限にとどめ、肉眼ではその変更を検知できない。AI企業が改造さた写真を使って顔認識アルゴリズムを教育すると、完成したシステムはオリジナルの顔写真から本人を特定できなくなる(下のグラフィックス、右側)。

その他の防衛手段

個人のプライバシーを守るため、顔認識システムを誤作動させる研究が進んでいる。メリーランド大学(University of Maryland)のコンピュータサイエンス学部はオブジェクト認識システムに検知されない特殊なパターンを開発した。このパターンをプリントしたプルオーバーを着ると、人物を検知するシステムに検知されない。これを着て街を歩くと、セキュリティカメラの顔認識システムをかいくぐることができる。この他に、顔に特殊なメーキャップをすると顔認識システムが顔として認識できなくなる。

(下の写真：特殊なパターンをプリントしたプルオーバーを着た人物はオブジェクト検知技術「YOLOv2」に検知されない。YOLOv2はリアルタイムのオブジェクト認識システムで、カメラに映った人物を特定しボックスで囲う。)

Fawkesの特徴

特殊なプリントは顔認識システムの検知から逃れプライバシーを自衛するために使われる。一方、Fawkesはコンセプトが根本的に異なり、顔認識システムのアルゴリズムを攻撃し、その機能を停止させる技法である。AIシステムへの攻撃で、運用者が気付かないうちにアルゴリズムが機能不全に陥る。プライバシーを守るという目的は同じであるが、Fawkesはより高度な技法となる。

AIは攻撃を受けやすい

同時にFawkesは、AIは外部からの攻撃に対し脆弱であることを示している。改造データでAIが攻撃を受けると、アルゴリズムの判定精度が下がり、また、機能不全に陥ることが明らかになった。AIは常にサイバー攻撃の対象となり、攻撃を受けたことを把握しにくいという特徴がある。AI開発者は個人のプライバシーを守ることに加え、ハッカーからの攻撃に対処する方策を講じる必要がある。

アマチュアがNHKのアナウンサーのように流ちょうに喋るビデオを生成できる。ビデオの制作で時間がかかるのがナレーションの録音と編集である。準備したテキストに従って喋るが、アマチュアの場合、言い間違いやテキストの修正で撮影を繰り返し、ファイナルカットができるまで時間を要す。ここで最新のAI技法「Voice Cloning」を使うと、発言者のボイスを編集して言い間違いを修正できる。一回の撮影でプロ並みのビデオが完成する。

Voice Cloningとは

Voice Cloningとは発言者の声のクローンを生成する技術で、本物と見分けのつかない偽の声が生成される。Voice Cloningは使い方を誤ると危険な技術であり、他人になりすまし、相手を欺き、金銭を奪う犯罪行為につながる。AI時代の「振り込め詐欺」で、米国で大きな社会問題となっている。一方、Voice Cloningは社会に貢献する技術でもあり、録音や録画の音声処理が格段に容易になり、新世代のビデオ編集技術として注目されている。

Desciptというスタートアップ

スタートアップがVoice Cloningを応用した編集技術を開発している。サンフランシスコに拠点を置く新興企業Descriptは録音した音声をVoice Cloningで編集する技術を開発した。この技術はポッドキャストやビデオの音声編集で使われる。録音した音声をDescriptに入力すると、AIがそれをテキストに変換する(Transcription)。変換されたテキストをレビューし、言い間違いがあるとその部分を修正すると、同時に音声ファイルも変更される。つまり、音声テキストを編集するだけで、修正されたナレーションを生成できる。

編集のプロセス

Descriptはこの一連の機能をクラウドとして提供している(下の写真)。スマホカメラで撮影すると、映像と音声がDescriptに入力される。音声の部分はテキストに変換され、ウインドウに表示される(下の写真、中央部)。ここに表示されたテキストを編集すると、変更された通りの音声が生成される。音声は発言者の声で生成され、何回も録音することなく、テキストの編集だけでこれを実現できる。また、ビデオやイメージを編集する機能が追加され、テキストの中にイメージアイコンを挿入することで、ナレーションに合わせてビデオが再生される(下の写真、上段)。

Speech Synthesis

音声を生成する技術は「Speech Synthesis」と呼ばれ、発言者の声でテキストを音声に変換する。上述の事例のように、利用者の声でテキストを音声に変換する。この他に、Descriptは音声サンプルを提供しており、テキストを好みの音声に変換することができる。テキストを入力すると、Speech Synthesisは指定された音声(アメリカ英語を話す女性の声など)でナレーションを生成する(下の写真)。

他社の技術と比較すると

多くの企業がSpeech Synthesisを開発しているが、その中で「Amazon Polly」や「Google Text-to-Speech」が有名である。Descriptの特徴は人間が喋るように自然なナレーションを生成することに特徴がある。「Polly」が生成する音声はロボットが喋るようにぎこちなく、機械的に生成されたことが分かる。一方、「Text-to-Speech」はDescriptのよに人間の発言と区別がつかない。

LyerbirdのAI技術

Descriptの音声技術はLyrebirdが開発したAIをベースとしている。Lyrebirdとはカナダ・モントリオールに拠点を置く新興企業で、テキストをリアルタイムで音声に変換する技術を開発した。特に、人の声を生成するVoice Cloningに特徴があり、AIは本人と見分けのつかないスピーチを生成する。Descriptは2019年9月、Lyrebirdを買収し、この技術をベースに前述の製品を開発した。

オバマ大統領の声を生成

Lyrebirdは当時のオバマ大統領のスピーチをAIで生成して注目を集めた。オバマ大統領は、「Hi everybody.  This time I like to share with you a cool company…」と語り始めたが(下の写真)、これはオバマ大統領が喋っているのではなくLyrebirdが音声を生成したもので、本人の声と見分けがつかない。

様々な応用分野

 Lyrebirdはこの技術を使って様々なソリューションを開発した。映画製作で俳優の声を記録しておくと、年をとっても、また、亡くなっても声優として活躍できる。AIスピーカーやオーディオブックで好みの声を選択できるようになる。また、映画俳優だけでなく個人が声を録音しておくと、亡くなった後もチャットボットとして家族と対話できる。(下の写真、Amazon Alexaのスキル「HereAfter」を使うと亡くなった両親や友人と会話できる。)

AI振り込め詐欺

また、声のクローンを簡単に制作できるようになり、新手の犯罪が社会問題となっている。会社役員の声のクローンを生成し、AI版の振り込め詐欺が始まった。会社役員になりすました犯罪者は企業の経理部に電話をかけ、役員の声で指定した口座に振り込みを指示する。電話の声は本人と区別がつかず、被害にあう企業が増えている。このため、不正行為を監視する連邦取引委員会(FTC)は企業や消費者に対し注意を呼び掛けている。

声のクローンを生成する

声の録音データがあれば簡単にそのクローンを生成できる。企業幹部は会社紹介などでYouTubeにビデオを公開しているケースが多く、ハッカーはこれらビデオに記録されている音声データを使いクローンを生成する。10分程度のデータで音声のクローンが生成でき、1時間分あれば本人と見分けのつかない高精度なクローンが生成できる。

使い方には注意を要す

AI技法の進化と共に市場にはテキストを音声に変換する製品が数多く登場している。Photoshopでイメージを編集するように、Voice Cloningで本人と見分けのつかない音声クローンを生成する。Voice Cloningは便利な技術であるとともに、犯罪と表裏一体の関係にあり、使い方には注意を要す。もはや、電話の声だけで相手を信用することは危険で、本人確認の手順を決めておく必要がある。

Synthetic Media(シンセティック・メディア)が新聞やスマホに次ぐ三世代のメディアとなる。Synthetic MediaとはAIで生成された動画や音声を指し、誰でも簡単にプロ並みのコンテンツを生成できることに特徴がある。いま、人間と見分けのつかないデジタル・ヒューマンが生まれている。この技術を使うとアインシュタインをデジタルに生成し、エンターテイメントやプロモショーンに応用できる。

デジタル・アインシュタイン

この技術を開発したのはUneeq(ユニークと発音)という新興企業で、本物と見分けのつかないアインシュタインのアバターを制作した(上の写真)。これは「Digital Einstein(デジタル・アインシュタイン)」と呼ばれ、語り掛けるとアバターがこれに答える。生い立ちを紹介するだけでなく、難しい質問にも回答する。「原爆を作ったのか」と尋ねると、デジタル・アインシュタインは、「マンハッタン計画には参加していない」と説明する。

アインシュタインの声

デジタル・アインシュタインの声もAIで生成された。ここではAflorithmicという新興企業の技術が使われた。ビデオなどに録画されているアインシュタインの肉声をベースに英語の音声が生成された。ただし、アインシュタインはドイツ生まれで、ドイツ語が母国語で、英語を話すときにはドイツ訛りとなる。そのため、デジタル・アインシュタインは分かりやすい英語を話すよう加工されている。

目的はプロモーション

デジタル・アインシュタインを生成する理由は製品やサービスのプロモーションにある。現在は、チャットボットと会話しながら買い物をする「Conversational Commerce」が主流である。例えば、Facebook Messengerで花屋さんのチャットボットと対話しながら希望のフラワーアレンジメントを見つけ購入する。今年は、これをもう一歩進め、感情豊かなデジタル・ヒューマンと対話して買い物を実行する「Conversational Social Commerce」の開発が進んでいる。

Conversational Social Commerceとは

消費者は対話する相手と感情的につながる(Emotional Connection)と、購買が成立する確率(Conversion Rate)が大きく向上するとの調査報告がある。つまり、相手に共感し好意をもつことで購買意思決定が促進され、この手法をConversational Social Commerceと呼ぶ。このため、感情を豊かに表現できるアバターが必須で、表情を変えながら消費者と対話するシステムの開発が進んでいる。従来は、専任のフェイスモデル(Face Model)やボイスアクター(Voice Actor)を雇い、撮影や編集を通じてデジタル・ヒューマンを制作していたが、AIでリアルなアバターを制作できるようになり、開発コストが大幅に下落した。

デジタル・ヒューマンを使ったビジネス

デジタル・ヒューマンの適用領域は広く、BMWはクルマのナビゲーションをUneeqの技術を使って開発している。従来のように音声ガイダンスだけでなく、デジタル・ヒューマンが表情を交えて行き先を案内する(上の写真)。また、保険会社Southern Cross Health Societyはデジタル・ヒューマン「Aimee」が顧客の質問に応対する(最後の写真)。Aimeeは表情豊かに会話し、リアルの人間と区別がつかない。また、スマホアプリでデジタル・ヒューマンがサンフランシスコの観光案内をする(下の写真)。

著名人のデジタルツイン

Uneeqは著名人のデジタルツインの制作で使われている。デジタルツインとは実社会のオブジェクトのデジタルコピーを制作する技術で、このケースでは著名人やセレブのデジタル・ヒューマンを指す。ニュージーランドの元ラグビー選手Sir John Kirwanは同氏のデジタルツイン「Digital John Kirwan(DJK)」を制作し、メンタルヘルスの治療で活躍している(下の写真)。デジタルツインはスマホアプリ「Mentemia」で稼働し、DJKが患者と対話しながら、不眠症の治療方法を解説する。

デジタル・ヒューマン制作方法

Uneeqはデジタル・ヒューマンを生成するためのクラウドサービスを提供している。企業はブランドイメージに沿ったアバターを選び(下の写真、最上段)、それに会話ルールを設定するだけで、人間そっくりのAIアシスタントを生成できる。また、感情を挿入するオプションがあり、デジタル・ヒューマンは設定された表情と音声で対話する。完成したデジタル・ヒューマンは企業のウェブサイトやスマホアプリで稼働する(下の写真、下段)。

Deepfakeと倫理問題

一方、デジタル・ヒューマンの制作は倫理的に難しい問題を含んでいる。デジタル・ヒューマンはAIや機械学習の手法で生成さるが、本物と見分けのつかない精巧な偽物が出来上がる。これはDeepfakeと呼ばれ、本人になりすまし消費者を欺き、偽情報を拡散するなど危険な技術でもある。このため、EUはAI利用規約のプロポーザルを策定し、デジタル・ヒューマンの運用は透明性が必要としている。つまり、チャットボットやアバターを使う際は、人間ではなくAIであることを明示することを義務付けている。

Synthetic Mediaの進展

人間そっくりのアバターが顧客と対話する技術は既にビジネスで使われている。IBMはデジタル・ヒューマンで銀行のコールセンター業務を代行するモデルを開発した。しかし、このシステムは高度な技術と多大な費用を要し、デジタル・ヒューマンを事業で展開できる企業は限られていた。AIの進化と共にSynthetic Mediaの開発が進み、誰でも簡単に高精度なデジタル・ヒューマンを生成できるようになった。今年はデジタル・ヒューマンがウェブサイトやモバイルアプリで活躍する年になる。特に、アインシュタインなど著名人が製品をプロモーションする利用法が増えると予想されている。

欧州連合(European Union)はAIの運用を規定したプロポーザルを発表した。AIは社会に多大な恩恵をもたらすが、その危険性も重大で、EUは世界に先駆けてAIの運用規制に踏み出す。警察は顔認識技術を使って市民を監視することが禁止される。また、銀行はAIによる与信審査を導入する際は厳格な運用条件が課される。一方、米国は連邦取引委員会(Federal Trade Commission)がAIの利用規制に関する意見書を公開した。欧州と米国はAIの運用を厳しく制限する方向に進み、各国の企業は対応を迫られることになる。

EUのプロポーザル

欧州委員会(European Commission)は2021年4月21日、AI運用に関するプロポーザル「Proposal for a Regulation on a European approach for Artificial Intelligence」を公表した。AIが社会に浸透し人々の生活にかかわる中、欧州委員会はAIの運用ルールを定め、危険なAIについては使うことを禁止する。プロポーザルはAI運用の指針を示したもので、EU加盟各国はこれをベースに法令を制定してAIの運用を規制する。

AI利用規定の内容

欧州委員会はAIの危険度を四段階に分けて定義し、それぞれの利用法を規定している。危険 (Unacceptable risk)なAIはその使用を禁止する。ハイリスク(High-risk)なAIについては、規定された対策を適用することを条件に使用が認められる。ローリスク(Limited risk)なAIは表示義務を条件に使用が認められる。その他(Minimal risk)のAIは無条件で利用できる。また、これらの規定に従わないときは罰則規定が設けられ、制裁金(最大3000万ユーロか売上高の6%)が課される。欧州委員会のプロポーザルの特徴は、ハイリスクなAIを定義し、その運用条件を定めたことにある。

AIの危険度とその事例

危険なAIとは監視カメラで市民の行動をモニターし、その挙動を解析し信用度を付加するAIとしている。これは中国で実際に運用されているが、欧州委員会はこれを全面的に禁止する。ハイリスクなAIは、人間に代わり試験を採点するAIや、人事採用で履歴書を評価するAIなどが含まれる。また、銀行でローン審査を担うAIや、裁判所で証拠を検証し判決を下すAIが対象となる。更に、警察の犯罪捜査で使われる顔認識AIが含まれる。欧州委員会が示したAIの危険度とその事例は下記のテーブルの通り：

ハイリスクなAIを利用する条件

ハイリスクなAIを使う際はその運用に厳しい条件が課される。AIのアルゴリズムが偏ってなく、人種や性別や年齢にかかわらず公正な判定を下すことが求められる。また、AIのアルゴリズムのメカニズムを詳細に説明したドキュメントの制作が求められる。消費者がAIの機能や品質や使用方法を理解し、正しく利用できる説明書を求めている。ハイリスクなAIを運用する条件は下記の通り：

• リスクの査定とリスク回避：AIの危険性の評価とリスクを回避するシステムを導入
• 高品質なデータセット：アルゴリズム教育向けデータの品質を向上しリスクを低減
• AI運用のログ：AI評価結果のトレーサビリティ
• AIに関するドキュメント：AIの機能説明とコンプライアンス評価
• AI使用説明書：利用者向けのAI使用手引き
• 人間によるAIの監視：AIのリスクを最小限にするため人間が監視
• AIの安定性：AIが外部の攻撃に耐性があり、高精度な判定機能を持つこと

ローリスクなAI

ローリスクなAIは対話型のチャットボットで、人間ではなくAIが応答していることを明示することを義務付ける。その他のAIは無条件で利用でき、スパムフィルターなどがこれに該当し、特別な条件なしでAIを運用できる。

次のステップ

欧州委員会がプロポーザルを作成した背景には、EUはヒューマンセントリックスなAIを開発し、AI技術で世界をリードするとの狙いがある。これらは欧州委員会の提案書であり、加盟各国はこれをベースに独自の法令を制定するプロセスとなる。2018年にEU一般データ保護規則(General Data Protection Regulation; GDPR)が導入され、加盟各国はこれをベースに独自の法令を定めたように、AIも同じプロセスをたどることになる。

米国におけるAI規制の状況

米国は連邦政府レベルでAIの利用を規制する法令は無く、州や市が独自の法令を定め運用している。特に、顔認識技術の危険性が指摘され、警察がこれを犯罪捜査で使用することを禁止する法令が制定されている。サンフランシスコやボストンなどは、警察が顔認識技術を使うことを禁止する法令を制定した。一方、殆どの自治体はこれを禁止する法令は無く、顔認識技術が幅広く使われている。

米国はFTCが見解を発表

米国においても連邦政府レベルでAIの運用を規制するルールの制定が始まる。FTCは消費者を不公正な商取引から保護することをミッションとするが、AI運用に関するコメントを発表し、企業にAIを公正に活用することを促した。FTCは既に、AIとアルゴリズム利用に関するガイドラインを発表しているが、今回のコメントはそれを一歩進め、AIの不公正な利用を法令で取り締まることを示唆した内容となった。

AIを管轄する法令

これによると、FTCは不正な商取引を禁止しており(FTC Act)、人種差別につながるアルゴリズムの販売は禁止される。また、人事面接でアルゴリズムが応募者を不採用にする行為は消費者を公正に格付けする法令(Fair Credit Reporting Act)に抵触する。更に、アルゴリズムが不正に特定の人種や性別や国籍によりローンを認めないケースでは、公平な権利を規定した法令(Equal Credit Opportunity Act.)に抵触する。

FTCはAI規制を強化する

GDPRが示すように、ＥＵはハイテク企業に対し、プライバシー保護や個人の権利に関し厳格な対応を求める。一方、FTCは米国企業が中心のハイテク企業に対しては、ビジネスを優先し寛大なポジションを取ってきた。しかし、AIに関してはこの流れが変わり、FTCもハイテク企業に対し、EUと同じレベルの規制を導入するとの見方が広がっている。

AI企業は対応を求められる

米国で危険なAIがルール無しに運用され社会に混乱が広がっている。高度な顔認識技術を提供するClearviewはFacebookから顔写真をスクレイピングし消費者の間で懸念が広がっている。FTCがAI運用に関する統一したルールを制定することで、消費者の権利が守られ、安心してAIを利用できると期待される。一方、AI企業は制定される法令に沿った品質保証が求められ、AI開発は大きな局面を迎える。