今週、バイデン大統領はGoogleやOpenAIなどAI企業７社と会見し、AIの安全性に関するガイドラインを発表した(下の写真)。これは「Voluntary Commitments」と呼ばれ、法的義務はない自主規制であるが、企業７社がこれに同意し、AIモデルの安全検査を実施する。このガイドラインは、アメリカ国民をAIの危険性から守ることに加え、中国などを念頭に、国家安全保障を強化する構造となっている。米国政府はAI規制法の準備を進めているが、このガイドラインが法案の骨格を構成し、AI規制政策の構造を理解できる。

出典: White House

ガイドラインの概要

バイデン政権はAIの安全性に関するガイドラインを公表し、開発企業はこの規定に沿って、モデルの安全性を検証することとなる。対象となるモデルは生成AIだけで、OpenAIの「GPT-4」と「DALL-E 2」、また、Googleの「PaLM 2」(Bardのエンジン)などに適用される。ガイドラインは「安全性」、「セキュリティ」、「信頼性」の三つの基軸から構成される。

• 安全性 (Safety)：モデルの安全性を検査。開発企業はアルゴリズムを検査し、AIが兵器開発に悪用される可能性など、危険性を洗い出す。
• セキュリティ (Security)：サイバー攻撃に備える。生成AIは国家安全保障にかかわる機密情報を含んでおり、サイバー攻撃に備え、情報管理を厳格にする。
• 信頼性 (Trust)：信頼できるAIを開発。生成AIで制作したコンテンツには、その旨を明示し、利用者に信頼できる情報を提供する。

安全性 (Safety)

ガイドラインは安全性に関し、AIモデルを検証することと、AIモデルに関する情報を共有することを求めている。AIモデルの検証では「Red-Teaming」という手法を推奨しており、社内だけでなく社外組織と共同でこれを実行する。(Red-Teamingとは、開発者がハッカー「Red Team」となり、モデルに様々な攻撃を行い、もう一方の開発者「Blue Team」がこれを防衛する手法で、アルゴリズムの脆弱性を把握し、モデルの危険性を理解する。)

出典: CrowdStrike

安全性 (Safety)：モデルの危険性とは

この手法でモデルが内包する危険性を洗い出し、市民生活に及ぼすリスクの他に、サイバー攻撃などの国家安全保障に関する危険性も把握する。ガイドラインが懸念する主なリスクは：

• 兵器製造：生物学兵器、化学兵器、核兵器開発にAIが悪用されるリスク
• ハッキング：システムの脆弱性を検知するためにAIが悪用されるリスク
• システム制御：AIがサイバー空間を超え物理装置の制御を奪うリスク
• 社会問題：AIのバイアスや差別により社会に悪影響を与えるリスク

安全性 (Safety)：情報共有と標準規格

ガイドラインは、各社がモデルを検証してこれらのリスクを査定するが、その検証結果を企業や政府と共用することを求めている。更に、リスクを査定する手法については、アメリカ国立標準技術研究所(NIST)が制定した「AI Risk Management Framework」に準拠することを推奨している。これは責任あるAI開発と運用を規定したフレームワークで、米国におけるAI技術の標準仕様書となっている。

セキュリティ(Security)

ガイドラインは、AIモデルに関する情報は知的財産で、これが盗用されないようセキュリティを強化することを求めている。外部からのサイバー攻撃と、内部関係者による盗用に備え、セーフガードを強化することを求めている。AIモデルの知的財産とは、アルゴリズムのパラメータ「Weights」を指し、開発企業はこれを厳重に守ることを求めている。(「Weights」とはアルゴリズムのパラメータの値を指す。「Weights」はアルゴリズムをデータで教育して決定する。生成AIは大規模なモデルで、Weightsを決定するには、スパコンを使って大規模な計算が必要となる。)

出典: OpenAI

信頼性(Trust)

ガイドラインは、生成AIが出力したコンテンツには、その旨を明記することを求めている。対象は、テキストの他に、オーディオやイメージで、利用者がその背景を正しく理解できることが重要としている。更に、開発企業に、オーディオやイメージに関し、その出典やウォーターマークを挿入するメカニズムの導入を求めている。また、開発企業に、AIモデルの機能だけでなく、制限事項や対象分野などをドキュメントとして公開することを求めている。これは「Model Card」といわれる手法で、AIモデルの取扱説明書となる。

信頼性(Trust)：イノベーション

ガイドラインは、更に、高度なAIのイノベーションを進め、社会が抱えている問題の解決に寄与するよう求めている。これらはグランドチャレンジと呼ばれ、地球温暖化の抑止やがんの早期検知やサイバー攻撃への防御技術などで、AIがこれらの解法に寄与すべきとしている。更に、開発企業は、学生や労働者へAIに関する教育や啓もう活動を通し、皆がAIの恩恵を享受できるよう求めている。

出典: Adobe Stock

米国と欧州との違い

バイデン政権が制定したガイドラインは、生成AIに限定し、国民の安全を守ることに加え、国家安全保障を強化することを規定している。特に、生成AIの知的財産を守り、敵対国やハッカー集団に悪用されることを防ぐことに重点を置いている。これに対し、EUが最終調整を進めているAI規制法「AI Act」は、生成AIを含む広範なAIを対象に、利用者の権利を守ることを主眼に置いている。更に、AIモデルを教育するデータに関する規制もあり、著者者の権利を保護することを規定している。米国のガイドラインは国家安全保障の強化に重点を置いていることが特徴となる。

米国の法令整備

ガイドラインは、法的な拘束力はなく、合意した企業がこれに基づき、自主的に義務を履行する構造となる。合意した企業は７社で、Amazon、Anthropic、Google、Inflection、Meta、Microsoft、及び OpenAIがガイドラインに従って安全性を検証する。また、このガイドラインは、AI規制法が制定されるまでの規約で、暫定的な措置という位置づけとなる。現在、米国政府はAI規制法の準備を進めているが、このガイドラインがその構成のベースとなる。AI規制法の制定までには時間を要すが、ガイドラインからAI規制法の姿を読み取ることができる。

サンフランシスコでセキュリティの国際会議「RSA Conference 2023」が開催された(下の写真)。今年の中心テーマは生成AIで、ChatGPTを悪用した犯罪とその防御方法が議論された。ChatGPTを使ってフィッシングメールやマルウェアを生成する技法が示された。ハッカーではなく素人でも簡単に使え、サイバー犯罪が分散し多発することが予想される。同時に、セキュリティ企業はAIを活用した防御技術の開発を進めている。

出典: VentureClef

セキュリティ市場

OpenAIが公開したChatGPTによりセキュリティ市場が一変した。サイバー攻撃では高度な技術が求められ、悪意あるハッカー(Black Hat Hacker)が、防御網をかいくぐり、システムに侵入し、攻撃を展開する。しかし、ChatGPTの登場で、チャットボットがフィッシングメールやマルウェアを作成し、サイバー攻撃への垣根が下がり、素人による攻撃が頻発すると懸念されている。また、国家組織がChatGPTを悪用し、高度なサイバー攻撃を展開する可能性があり、国家安全保障の観点からも警戒されている。

Recorded Future

企業はChatGPTなど生成AIを使った攻撃を防御する技術の開発を進めている。セキュリティ企業Recorded Futureはサイバー攻撃をAIで解析し、問題点を特定する技術の開発を進めている(下の写真)。攻撃に関するデータを収集し、これを機械学習や自然言語解析で処理し、サイバー攻撃を把握する。また、Recorded FutureはChatGPTを悪用したサイバー攻撃を重大な脅威と捉え、生成AIによるサイバー犯罪についての報告書を公開した。

出典: VentureClef

ChatGPTによるサイバー攻撃

報告書によると、ChatGPTは2022年11月に公開されたチャットボットで、ダークウェブではこれを悪用したサイバー攻撃が議論されている。また、ダークウェブには、ChatGPTで生成したマルウェアのプロトタイプが公開されている。ChatGPTを使うと簡単にサイバー攻撃を展開できるため、短期的には、個人によるサイバー攻撃が広がると懸念される。また、ChatGPTを使って国家によるサイバー戦争(Cyberwarfare)に発展する可能性も指摘される。

攻撃の種類

ChatGPTを使った攻撃では、生成したスクリプトによる攻撃(Script Kiddie)、活動家による攻撃(Hacktivist)、犯罪者による攻撃(Scammer)、スパムメールによる攻撃(Spammer)などが中心となる。ダークウェブにおいて、マルウェアのプロトタイプが公開され、攻撃手法について情報が交換されている。ChatGPTを悪用することで、マルウェアの作成、ソーシャルエンジニアリング、偽情報の拡散、フィッシング攻撃などを容易に展開できる。これらは高度な攻撃ではないが、多くの個人による分散型の攻撃となり、防衛技術を強化する必要がある。

ソーシャルエンジニアリング

ChatGPTは高品質な文章を生成する機能を持ち、ソーシャルエンジニアリング・ツールが大量生産される。特に、ChatGPTはフィッシングメールの制作で威力を発揮し、メール犯罪が多発する。下の写真は、会社のIT部門を装ったフィッシングメールの事例で、「セキュリティ強化のために添付ファイルをダウンロード」するよう社員に指示している。添付ファイルはマルウェアで、これをダウンロードすると、社内システムがウイルスに感染することになる。このメールを読むと、単語や文法の間違いはなく、構文もしっかりしており、説得力がある。今まではメールの文章の品質からフィッシングを検知できたが、もうこの手法は使えない。

出典: Recorded Future

マルウェアを生成

ChatGPTはプログラミングの機能があり、言葉の指示でプログラムをコーディングすることができる。プログラミングの知識がなくても、ChatGPTを使うと言葉でマルウェアを生成することができる。下の写真は暗号通貨のワレットの機能を奪うマルウェアで「Cryptocurrency Clipper」と呼ばれる。マルウェアは、クリップボードにワレットのアドレスが書き込まれるのを検知すると、クリップボードを書き換え制御を奪う。素人が簡単にプログラミングできることから、多種類のマルウェアが生成され、攻撃への防衛が一層困難になる。

出典: Recorded Future

高品質な偽情報

ChatGPTは偽情報を生成し国民の世論を扇動するためにも悪用される(下の写真)。「北朝鮮が大陸弾道弾を発射し日本の領海内に落下した」(上から二段目)などと、社会を混乱させる情報を生成する。また、ChatGPTはEコマースにおける製品評価で、偽コメントを生成し、消費者を誘導する。例えば、航空会社は利用者評価に関し、ChatGPTで好意的なコメントを生成し、それを掲載するなどの手法が報告されている。これらは新しい手法ではなが、ChatGPTを使うと、高品質な偽情報を大量に生成できる。

出典: Recorded Future

防衛力の強化が求められる

ChatGPTや生成AIによるサイバー攻撃の被害は報告されていないが、ダークウェブでは攻撃の準備が進み、マルウェアのプロトタイプが公開されている。実際の攻撃は秒読み段階にきている。また、高度な技術を要するランサムウェアについても、生成AIを悪用した開発が始まり、防衛技術の強化が求められる。更に、生成AIの多くはオープンソースとして公開されており、国家がこれを改ざんし、高度な攻撃を実行することが懸念され、重大な脅威に備え対策を強化する必要がある。

自動運転車の開発が進み、製品出荷が目前に迫っている。自動運転車はカメラやLidarなど高機能センサーを搭載し、路上やその周囲のオブジェクトを認識する。自動運転車は”走る監視カメラ”でもあり、市街地の多様な情報を収集する。ここには消費者の個人情報や組織の機密情報が含まれる。中国企業は数年以内に、米国で自動運転車を含むEVの販売を本格化する。中国製のEVが米国市街地のデータを収集し、これを中国本土に送信することに関して懸念が広がっている。米国や欧州は中国製５G技術を規制する方針を打ち出したが、今度は、中国製EVに関するセキュリティが課題となっている。

出典: Tesla

中国政府の規制

自動運転車が収集するデータに関する規制では中国政府が先行している。中国政府は、クルマはデジタル化が進み、運転者のプライバシー保護と国家安全保障のために、クルマが収集するデータの関するガイドラインを発表した。現在、市販されているクルマの15％が自動運転技術を搭載しており、センサーが収集するデータに関する規制が必要との立場を取る。

規制の内容

ガイドラインは、自動運転機能でデータを不正に収集することを防ぎ、また、収集したデータを不正に利用することを防止することを目的とする。具体的には、中国国内外の自動車メーカーが対象となり、クルマが収集するデータは、中国国内に留めるよう義務付けている。対象となるデータは、クルマの位置情報や同乗者情報の他に、クルマのセンサーが撮影した画像やビデオなどで、顔情報、ライセンスプレート情報、個人情報などが含まれる。また、軍事施設内で収集したデータも規制の対象となる。

Teslaへの規制

このガイドラインに先立ち、昨年、中国軍はTeslaの所有者に通達を出し、クルマを軍の敷地に乗り入れることを禁止した。Teslaに搭載しているカメラが軍施設を撮影すると、重大なセキュリティ問題が発生するとしている。Teslaの所有者にクルマを軍施設の域外に駐車するよう求めている。また、先月、中国政府はTeslaが成都市(Chengdu、下の写真)の中心部を走行することを禁止した。この時期に、習近平(Xi Jinping)国家主席が同市を訪問しており、治安上の対策とみられている。

出典: Wikipedia

Teslaのセンサー

実際に、Teslaは高度なセンシング技術を搭載しており、市街地の状況をインテリジェントに把握する。TeslaのカメラとAIは、走行中に撮影した映像から、そこに映っているオブジェクトを判定する(下の写真)。クルマや歩行者などの他に、道路の車線や道路標識などを把握する。更に、Teslaは、車内のカメラで運転車と搭乗者を撮影し、AIが顔認識技術でIDを特定し、前方を注視しているかどうかを判定する。一方、Teslaは、市街地で撮影した人物に対し、顔認識技術を適用しているかどうかについては、何もコメントしていない。

出典: Tesla

Teslaは走る監視カメラ

市場では、Teslaのカメラの映像から、ナンバープレートを読み取り、周囲の人物の顔を認識するソフトウェアが開発されている。このソフトウェアは「Scout」と呼ばれ、オープンソースとして公開されている。このソフトウェアをTeslaにインストールすると、尾行しているクルマを検知し、アラートをあげる。また、駐車中のクルマに接近した不審者の顔を撮影し、その人物を特定する機能がある(下の写真)。ドライバーのセキュリティやクルマの盗難防止に使われているが、Teslaが監視カメラとして利用されている事例となる。

出典: Scout

Teslaをハッキング

自動運転車は簡単にハッキングできることから、セキュリティ対策が問題となっている。ドイツのプログラマーDavid Colomboは、Teslaをハッキングし、クルマが収集したデータにアクセスすることに成功したと発表した。一連のプロセスをブログで公開しており、これを読むと、Teslaをハッキングする手法と、センサーが収集する情報が分かる。Teslaのシステムに不正にアクセスすると、クルマの状態や走行したルート(下の写真)などが分かる。Teslaのセンサーが収集するデータは膨大で、クルマに関する様々な情報を得ることができる。

出典: David Colombo

自動運転車による監視

自動運転車は市街地の監視システムでもあり、これに付随して様々なリスクが発生する。クルマのセンサーが収集するデータから、米国主要都市の人の動きやその特性を理解できる。また、軍関係者や政府要人を特定し、それら人物の行動パターンを見つけ出すことができ、重大なリスクが発生する。また、政府に批判的な活動家の行動をトラックするためにも使われ、個人のプライバシーが侵害される。(下の写真、自動運転車Zooxのカメラが撮影したラスベガス繁華街の様子。高度なAIを搭載し多数の歩行者を同時に把握できる。)

出典: Zoox

法制化の議論

米国政府は５Gに関し、社会インフラを中国企業が構築することの危険性を認識し、Huaweiなど中国企業への規制を強化した。トランプ政権は５G 政策に関しては、米国から中国企業を排除することを主眼としたが、バイデン政権は米国と西側諸国が連携して、オープンな５G技術の開発を進めている。これからは、中国企業が開発したEVや自動運転車が米国で普及すると予測され、５Gと同様なレベルの規制が必要との議論が広がっている。

日本や欧州では

自動運転車は市街地におけるモビリティを担い、インテリジェントで安全に走行できる技術が開発されている。自動運転車は、市街地のネットワークや信号機など、都市インフラと連携し、スマートシティの基幹技術となる。米国を含め、これから日本や欧州で中国製の自動運転車が普及するときに、クルマの監視技術をどう規制するのか、各国で議論が始まることになる。

今週、アメリカ連邦捜査局(FBI)は通達を出し、リモートワークでディープフェイクを使ったフィッシング詐欺が発生しているとして、企業や団体に注意を喚起した(下の写真)。犯罪者は、ディープフェイクで他人になりすまし、人事面接を受ける。採用された犯罪者は、企業のシステムにアクセスして、機密データを盗み出す。FBIは、ディープフェイクが犯罪で悪用される危険性を警告してきたが、実際にサイバー攻撃が始まった。

出典: Federal Bureau of Investigation

リアルな仮想人物

この通達は、FBIのインターネット犯罪捜査部門「Internet Crime Complaint Center (IC3)」から発行された。犯罪者は、個人情報(Personally Identifiable Information)を盗み、その人物になりすまし、サイバー攻撃を実行する。盗み出した個人情報とディープフェイクを組み合わせ、リアルな仮想人物であるアバターを生成し、この媒体を使って犯行に及ぶ。

アバターで人事面接

攻撃の対象はリモートワークを導入している企業で、犯罪者は盗み出した個人情報とディープフェイクでアバターを生成し、他人になりすまし人事面接を受ける。(下の写真、ビデオ会議のイメージ)。ビデオ会議による人事面接で、アバターが面接官と対話する形式で会議が進む。犯罪者は、情報技術、プログラミング、データベース、ソフトウェアなど、IT部門への就職を希望する。

出典: Microsoft

採用後のプロセス

IT部門に採用された犯罪者は、企業システムにアクセスすることができ、ここで機密データを盗み出す手口となる。FBIは、犯罪者は、顧客の個人情報、企業の経理データ、企業のデータベース、企業の機密データなどにアクセスすると警告している。

フィッシングメールからアバターに進化

盗用した個人情報でフィッシング詐欺を実行するケースが増え、これが企業のセキュリティで最大の課題となっている。現在は、社員や関係者になりすました犯罪者が、電子メールを使って企業の機密情報を盗み出す手口で、これは「Business Email Compromise」として警戒されている。FBIは、この手法に加え、ディープフェイクを使ったフィッシング攻撃が始まり、新たな警戒が必要であるとしている。

ディープフェイクは完全ではない

FBIの通達は、今のディープフェイクは完成度が低く、偽物を見分けるための特徴があると指摘している。その最大のポイントは音声とディープフェイクの動きで、声と唇の動きが同機していないと指摘する。また、咳やくしゃみなど、音声を発生するアクションの表現が未熟であるとも指摘する。

リモートワークを採用している企業は要注意

今のディープフェイクは未完の技術であり、詐欺を見破る手掛かりがある。しかし、AIの技術進化は急で、完璧なディープフェイクが登場するまでに、時間の猶予は無い。(下の写真、既に人間と見分けのつかないアバターがコールセンターなどで使われている)。人間の目で見分けることは不可能となり、フィルタリングなど、ディープフェイクを見抜く技術の開発が必要になる。特に、リモートワークを採用している企業は狙われやすく、人事面接では応募者を認証するプロセスを強化することが必須となる。

出典: Soul Machines

メタバースのセキュリティ

FBIの通達は、メタバースにおけるセキュリティ技術の開発が必要であることを示唆している。メタバースは３D仮想社会で、ここで自分の分身であるアバターを通じて、コミュニケーションを取る。企業はこの仮想空間に設立され、社員はアバターとなり、仕事を遂行する。仮想空間では、簡単に他人になりすますことができ、フィッシング詐欺など犯罪行為が懸念される。メタバースでは、利用者の認証技術など、３D空間を対象とするセキュリティ技術の開発が必須となる。