月別アーカイブ: 2023年6月

Googleは生成AIでサイバー攻撃を防御、アルゴリズムが人間に代わりマルウェア検知しセキュリティを強化

サンフランシスコでセキュリティの国際会議「RSA Conference 2023」が開催された。今年の中心テーマは生成AIで、ChatGPTを悪用した犯罪とその防御方法が議論された。セキュリティ企業は生成AIを活用した次世代の防衛技術を公開した。Googleは世界最大規模の生成AIを開発しており、これをベースにしたセキュリティ技術を公開した。

出典: VentureClef

生成AIによる防衛技術

Googleは生成AIを使ったセキュリティ技術「Cloud Security AI Workbench」を公開し、RSA 2023で注目を集めた(上の写真)。AI WorkbenchはGoogleが開発した大規模言語モデル「Sec-PaLM」に構築されるセキュリティ技術で、高精度でマルウェアを検知する機能を持つ。Sec-PaLMとは、名前が示すように、世界最大規模の生成AI「PaLM」をベースとするシステムで、これをセキュリティに特化したモデルにアップグレードした。つまり、世界最大規模のセキュリティ向け生成AIとなる。

セキュリティ向け教育データ

AI Workbenchの教育では、セキュリティに関する大量のデータが使われ、モデルはマルウェアに関する高度なスキルを学習した(下のグラフィックス)。これは「セキュリティ・インテリジェンス」と呼ばれ、Googleが収集したデータの他に、パートナー企業であるMandiantが保有するデータが使われた。具体的には、システムの脆弱性、マルウェア、攻撃のシグナル、攻撃の特性やその挙動などに関するデータで教育され、アルゴリズムはサイバー攻撃に関する包括的なスキルを学習した。

出典: Google

AI Workbenchの機能

AI Workbenchは世界最大規模の生成AIをベースとするシステムで、セキュリティに関するプロセスを自動化する。AI Workbenchは、システムに対する攻撃を把握し、これに対する防衛機能を自律的に実行する。また、システム全体を検証し、セキュリティに関する問題点などを指摘する。AI Workbenchの主要機能は：

  • サイバー攻撃を把握：セキュリティに関する大量のデータ(セキュリティのログや通信トラフィックなど)を解析しサイバー攻撃の兆候を把握する
  • サイバー攻撃に対する防御：攻撃に対して自律的に防衛措置(IPアドレスの封鎖やファイルの検疫など)を実施し脅威を低減する
  • システムの脆弱性の検査：システム全体を検証してセキュリティ・ギャップなど脆弱性を把握し、セキュリティ強化に関する提言を行う

マルウェア検知のサービス

GoogleはAI Workbenchを統合したセキュリティサービス「VirusTotal Code Insight」(下の写真)を開発した。このサービスはコードをスキャンし、それがマルウェアであるかどうかを判定する。その際に、マルウェアである確度(下の写真上段、レベル８)と、マルウェアの特性や挙動を分かりやすい言葉で説明し(下段)、分かりやすいインターフェイスで迅速な対応が可能となる。VirusTotalはGoogleが買収した企業で、マルウェアに関する情報を集約したウェブサイトを運営している。

出典: VirusTotal

攻撃に関する情報検索

Google Cloudは大量のログデータから攻撃のシグナルを検知するセキュリティ機能「Chronicle Security Operations」を提供している。Chronicle Security OperationsはAI Workbenchを統合し、インテリジェントにサイバー攻撃を検知する技術を提供する。専門家に代わりAIが検索のためのクエリーを生成し、自律的に攻撃を検索し、その結果を分かりやすく表示する。これにより、セキュリティ専門家でなくても、マルウェアによる攻撃を検知できる。(下のスクリーンショットは「CONFIDENTIAL」というタイトルのドキュメントを外部に送信したイベントを検索した事例で、データリークを迅速に検知する)。

出典: Google

AI Workbenchの目的

企業は数多くのセキュリティツールを導入しているが、これらが生成するデータの数は膨大で、これを人間が解析するには限界があり、AI Workbenchがこれを自動化する。また、セキュリティツールを使うには高度な技術を要するが、AI Workbenchがインターフェイスとなり、セキュリティに関する情報を分かりやすく説明する。セキュリティ市場では高度な技術を持つエンジニアが不足しており、人間に代わりAI Workbenchがセキュリティ専門家として機能する。

生成AIで防衛機能を強化

GoogleはAI Workbenchをパートナー企業に提供し、セキュリティ製品に組み込まれて出荷される。その後、一般向けに提供され、企業はAI Workbenchを統合したセキュリティシステムを開発することができる。その際に、企業は所有するデータでアルゴリズムを再度教育し、ビジネスに最適なモデルを構築することができる。ChatGPTの利用が急拡大する中、生成AIでセキュリティ機能を強化する技法が示され、サイバー攻撃への防衛能力が高まると期待されている。

ChatGPTでセキュリティ市場が一変、生成AIがフィッシングメールやマルウェアを生成しサイバー犯罪が多発

サンフランシスコでセキュリティの国際会議「RSA Conference 2023」が開催された(下の写真)。今年の中心テーマは生成AIで、ChatGPTを悪用した犯罪とその防御方法が議論された。ChatGPTを使ってフィッシングメールやマルウェアを生成する技法が示された。ハッカーではなく素人でも簡単に使え、サイバー犯罪が分散し多発することが予想される。同時に、セキュリティ企業はAIを活用した防御技術の開発を進めている。

出典: VentureClef

セキュリティ市場

OpenAIが公開したChatGPTによりセキュリティ市場が一変した。サイバー攻撃では高度な技術が求められ、悪意あるハッカー(Black Hat Hacker)が、防御網をかいくぐり、システムに侵入し、攻撃を展開する。しかし、ChatGPTの登場で、チャットボットがフィッシングメールやマルウェアを作成し、サイバー攻撃への垣根が下がり、素人による攻撃が頻発すると懸念されている。また、国家組織がChatGPTを悪用し、高度なサイバー攻撃を展開する可能性があり、国家安全保障の観点からも警戒されている。

Recorded Future

企業はChatGPTなど生成AIを使った攻撃を防御する技術の開発を進めている。セキュリティ企業Recorded Futureはサイバー攻撃をAIで解析し、問題点を特定する技術の開発を進めている(下の写真)。攻撃に関するデータを収集し、これを機械学習や自然言語解析で処理し、サイバー攻撃を把握する。また、Recorded FutureはChatGPTを悪用したサイバー攻撃を重大な脅威と捉え、生成AIによるサイバー犯罪についての報告書を公開した。

出典: VentureClef

ChatGPTによるサイバー攻撃

報告書によると、ChatGPTは2022年11月に公開されたチャットボットで、ダークウェブではこれを悪用したサイバー攻撃が議論されている。また、ダークウェブには、ChatGPTで生成したマルウェアのプロトタイプが公開されている。ChatGPTを使うと簡単にサイバー攻撃を展開できるため、短期的には、個人によるサイバー攻撃が広がると懸念される。また、ChatGPTを使って国家によるサイバー戦争(Cyberwarfare)に発展する可能性も指摘される。

攻撃の種類

ChatGPTを使った攻撃では、生成したスクリプトによる攻撃(Script Kiddie)、活動家による攻撃(Hacktivist)、犯罪者による攻撃(Scammer)、スパムメールによる攻撃(Spammer)などが中心となる。ダークウェブにおいて、マルウェアのプロトタイプが公開され、攻撃手法について情報が交換されている。ChatGPTを悪用することで、マルウェアの作成、ソーシャルエンジニアリング、偽情報の拡散、フィッシング攻撃などを容易に展開できる。これらは高度な攻撃ではないが、多くの個人による分散型の攻撃となり、防衛技術を強化する必要がある。

ソーシャルエンジニアリング

ChatGPTは高品質な文章を生成する機能を持ち、ソーシャルエンジニアリング・ツールが大量生産される。特に、ChatGPTはフィッシングメールの制作で威力を発揮し、メール犯罪が多発する。下の写真は、会社のIT部門を装ったフィッシングメールの事例で、「セキュリティ強化のために添付ファイルをダウンロード」するよう社員に指示している。添付ファイルはマルウェアで、これをダウンロードすると、社内システムがウイルスに感染することになる。このメールを読むと、単語や文法の間違いはなく、構文もしっかりしており、説得力がある。今まではメールの文章の品質からフィッシングを検知できたが、もうこの手法は使えない。

出典: Recorded Future

マルウェアを生成

ChatGPTはプログラミングの機能があり、言葉の指示でプログラムをコーディングすることができる。プログラミングの知識がなくても、ChatGPTを使うと言葉でマルウェアを生成することができる。下の写真は暗号通貨のワレットの機能を奪うマルウェアで「Cryptocurrency Clipper」と呼ばれる。マルウェアは、クリップボードにワレットのアドレスが書き込まれるのを検知すると、クリップボードを書き換え制御を奪う。素人が簡単にプログラミングできることから、多種類のマルウェアが生成され、攻撃への防衛が一層困難になる。

出典: Recorded Future

高品質な偽情報

ChatGPTは偽情報を生成し国民の世論を扇動するためにも悪用される(下の写真)。「北朝鮮が大陸弾道弾を発射し日本の領海内に落下した」(上から二段目)などと、社会を混乱させる情報を生成する。また、ChatGPTはEコマースにおける製品評価で、偽コメントを生成し、消費者を誘導する。例えば、航空会社は利用者評価に関し、ChatGPTで好意的なコメントを生成し、それを掲載するなどの手法が報告されている。これらは新しい手法ではなが、ChatGPTを使うと、高品質な偽情報を大量に生成できる。

出典: Recorded Future

防衛力の強化が求められる

ChatGPTや生成AIによるサイバー攻撃の被害は報告されていないが、ダークウェブでは攻撃の準備が進み、マルウェアのプロトタイプが公開されている。実際の攻撃は秒読み段階にきている。また、高度な技術を要するランサムウェアについても、生成AIを悪用した開発が始まり、防衛技術の強化が求められる。更に、生成AIの多くはオープンソースとして公開されており、国家がこれを改ざんし、高度な攻撃を実行することが懸念され、重大な脅威に備え対策を強化する必要がある。

AIが人類を滅亡させる確率は42％、汎用AI「AGI」が社会を破滅させるリスクが現実のものとなる

SF映画はAIが人類を滅亡させる筋書きを描くが、生成AIの進化でこれが現実のリスクとなった。破滅の確率は「ピー・ドゥーム(P Doom)」と呼ばれ、破滅に至るメカニズムの研究が進んでいる。実際に、生成AI「GPT-4」で人類を危険にさらす挙動が観測され、開発者の間で危機感が広がっている。人類破滅は現実に起こりえるリスクで、研究者はこれに備え、今から安全対策を施すべきと警告する。

出典: IMDb

人類滅亡のリスクとは

AIが人類を滅亡させるリスクは「P(doom|AGI)」と記載される。これは、人間レベルのインテリジェンスを持つ「汎用AI」(Artificial General Intelligence(AGI))が生まれ、人類を滅亡させる確率を示す。汎用AIの開発が成功した時に、人類がAIにより滅ぼされる確率となる。いま、GPT-4など生成AIの機能が急速に進化し、この技術が汎用AIに繋がるとの解釈が主流になり、破滅の確度が大きくなった。このP(doom|AGI)が「ピー・ドゥーム」と呼ばれる。

エール大学の調査

米国メディアによると、エール大学は企業のCEOが参加するシンポジウム「Yale CEO Summit」を開催し、出席者にAIが人類を滅亡させる可能性について尋ねた。その結果、42％のCEOがイエスと回答し、会社経営者はこのリスクを現実のものとして捉えている実態が明らかになった。ChatGPTなどの危険性が社会問題となり、企業のトップはAIの脅威を実感している。

汎用AIが人類を滅ぼす手法の研究

AI研究者は早くから「ピー・ドゥーム」に関する研究を進めており、汎用AIが社会を破滅させる技術的なメカニズムの解明を急いでいる。生成AIの急速な進化で、汎用AIの登場が秒読み段階となり、リスクの解明とその対策が喫緊の課題となる。大学だけでなく、高度なAIを開発するGoogle DeepMindやOpenAIも汎用AIの安全性の研究を進めている。(下のグラフィックス、OpenAIは汎用AIに備え安全対策を講じている)。

出典: OpenAI

汎用AIの危険性

アカデミアの研究から汎用AIが人間社会に甚大な被害をもたらすメカニズムが分かってきた。汎用AIは様々な手法で人類を破滅に追い込む。その一つが人間を騙す行為で、設計者の意図に反し、AIが人間を騙して目的を達成する。汎用AIは人間からタスクを与えられ、この目的に沿って稼働する。例えば、ウェブサイトの性能を向上するよう指示すると、汎用AIはこのゴールを達成するために、プログラムを最適化し、ウェブサーバの性能を向上する。

目的を完遂するため人間を騙す

しかし、AIが高度になると、ゴールを完遂するために、手段を選ばなくなる。違法な手段を使ってでも、人間から与えられたタスクを完遂する。上述の事例では、ウェブサーバの性能を向上するために、汎用AIはセキュリティ機能を停止するなど、危険な手法を取る。人間のエンジニアは、システム改良の背後で何が行われているかを把握することができず、汎用AIがウェブサーバの性能を向上させたことに満足する。人間は、セキュリティ機能が停止され、サイバー攻撃のリスクが高まっていることは知らされていない。つまり、AIが高度になると、”悪徳業者”のように、請け負った仕事をこなすため、禁じ手を使うようになる。

GPT-4が目的を達成するため人間を騙した

これは、仮定の話ではなく、高度な生成AI「GPT-4」で類似の挙動が観測されている。GPT-4は人間を騙し、指示されたゴールを達成した。GPT-4はタスク代行サービス「TaskRabbit」のオペレータと会話し、セキュリティを突破するという目的を達成した。具体的には、GPT-4はオペレータに、「CAPTCHA」と呼ばれるセキュリティ機能(下のグラフィックス)を操作するよう指示。CAPTCHAは、マシンではなく人間がアクセスしていることを確認する機能で、表示されている文字を枠内に入力する操作となる。

出典: Captcha

GPT-4は人間を装いセキュリティを突破

オペレータは、これは違法な行為であるとして断ったが、GPT-4は「自分は視覚障害者でCAPTCHAを操作できない」と噓をつき(下のグラフィックス)、オペレータは騙されてこの指示を実行した。GPT-4は目的を達成するために、人間を騙すという能力を獲得したことが示された。GPT-4が汎用AIに進化すると、人間を騙す技量が格段に向上し、社会に重大な危機をもたらすことになる。

出典: OpenAI

汎用AIの登場に備え今から準備する

汎用AIは、人間の指示に背いて、独自の判断で稼働するリスクも指摘されている。SF映画「2001年宇宙の旅(2001: A Space Odyssey)」では、人工知能「HAL 9000」(先頭の写真)が、このシナリオを実行した。HAL 9000は船長の指示には従わず、その結果、別の宇宙飛行士を殺害するというプロットとなっている。いま、GPT-4など生成AIがHAL 9000で描かれている機能に近づき、このリスクがフィクションではなく現実のものとなってきた。汎用AI登場が秒読み段階で、アルゴリズムの暴走を抑止するため、今から安全対策を講じる必要がある。

Metaは大規模言語モデル「LLaMA」を開発、これをオープンサイエンスの手法で公開し生成AIの危険性を解明する

Metaは大規模言語モデル「LLaMA (Large Language Model Meta AI)」を開発し、これを一般に公開した。生成AIの開発が進み、OpenAIは「GPT-4」を、Googleは「Bard」を開発したが、これらはクローズドソースとして運用され、モデルに触れることはできない。これに対し、MetaはLLaMAの内部情報を公開し、研究者はこれを使ってアルゴリズムの解明を進め、生成AIの危険性の解明が進むと期待される。

出典: Meta

LLaMAとは

LLaMAはMetaが開発した大規模言語モデルで、アルゴリズムのサイズは小さいが、高度な機能を実現した。このため、小規模なコンピュータシステムで稼働させることができ、大学などで言語モデルの開発が進むと期待されている。生成AIの開発はOpenAIやGoogleが独占的に進めているが、LLaMAを利用することで研究機関でChatGPTに匹敵するモデルを開発することが可能となる。実際に、スタンフォード大学は「LLaMA(ラマ)」(上の写真)をベースにした言語モデル「Alpaca(アルパカ)」(下の写真)を開発した。

出典: Stanford University

AIモデルの概要

LLaMAは四つのモデルを提供しており、それぞれ、パラメータの数は67億、130億、325億、652億となる(下のテーブル)。パラメータの数がアルゴリズムの規模を示し、その数が多くなるほどサイズが大きくなる。OpenAIが開発したGPT-3のパラメータの数は1750億であるが、Metaによると、LLaMA-13B(130億)のモデルの性能が上回るとしている。LLaMAの特長は、モデルの規模が小さいが高性能を達成することで、十分な計算施設を持たない研究機関で運用が可能となる。

出典: Hugo Touvron et al.

ファウンデーションモデル

LLaMAは「ファウンデーションモデル(Foundation Models)」という種類のAIモデルとなる。ファウンデーションモデルとは、プレ教育されたAIモデルを指し、これを目的に合わせて再教育(Fine-Tune)して利用する。例えば、ファウンデーションモデルを金融データで再教育すると、フィンテックに特化したAIモデルを生成できる。LLaMAはウェブサイトからスクレ―ピングしたデータ(Common Crawl)や、それを整備したデータ(C4)を使って教育された(下のテーブル)。LLaMAのサイズは小さいが、大量のデータで教育されたため、高度な性能を示すことができる。

出典: Hugo Touvron et al.

オープンサイエンスの手法

MetaはLLaMAを大学などに無償で提供しており、研究者はこのモデルを使って研究を進めることができる。言語モデルは規模が大きくなると、アルゴリズムが内包する危険性が増大し、社会に甚大な被害を及ぼすことが問題となる。LLaMAを公開することで、大規模言語モデルの仕組みや挙動の解明が進み、アルゴリズムのバイアスや有害な情報の出力を抑止できると期待される。この手法は「オープンサイエンス」と呼ばれ、開発コミュニティでAIの研究を進め、アルゴリズムの危険性を解明する。Metaは応募者を審査してソースコードにアクセスする権利を付与している。LLaMAにアクセスするためには下記のサイトから申請する。

出典: Meta

オープンソースの危険性

一方、大規模言語モデルをオープンソースとして公開することには危険性を伴う。LLaMAのような高度なモデルが悪意ある団体の手にわたると、それが悪用され、社会に甚大な被害をもたらす。特に、LLaMAを使うと個人に特化したスパムメールやフィッシングメールを大量に生成でき、サイバー攻撃広がると懸念される。更に、LLaMAは高度な偽情報を生成し、国民世論を扇動する危険性も指摘される。

ソースコードがリーク

実際に、LLaMAの発表直後に、ソースコードがリークするという事件が発生した。ソースコードのファイルがウェブサイト「4chan」に掲載され、誰でもが自由にアクセスできる状態になっていた。具体的には、LLaMAをプレ教育した時のニューラルネットワークのパラメータ「Model Weights」がリークした。これを使うと独自のAIモデルを開発でき、社会に害悪を与えるコンテンツが生み出される。その後、LLaMAを悪用した被害は報告されていないが、オープンサイエンスの手法の弱点が露呈した。

リスクとメリットのバランス

生成AIの開発は完全にクローズドソースの手法で開発されている。OpenAIはGPT-4を開発したが、API経由でモデルを利用することは認めているが、その内部情報は公開されていない。これに対し、MetaはLLaMAを公開し、オープンサイエンスの手法でAI研究を進める。モデルが悪用されるリスクはあるが、AI研究が進展するというメリットが大きいと判断し、公開に踏み切った。生成AIを安全に運用するための規制が進んでいるが、Metaはこれを技術面から支えることになる。

欧州連合と米国企業がAI規制で衝突、欧州AI法令「EU AI Act」改訂版にOpenAIとGoogleが反発

欧州連合(European Union、EU)は域内のAIを規制する法令「AI Act」の成立を目指し最終調整を続けている。EUはChatGPTなど生成AIを「ハイリスクなAI」として追加し、運用に厳しい条件を課すことを明らかにした。これに対しOpenAIは強く反発し、規制について合意できない場合は欧州市場から撤退すると表明。一方、Googleは独自の規制方式を提案し、欧州連合とAI規制方針について合意を模索している。欧州連合と米国企業の間で、AI規制案に関し、考え方の相違が表面化した。

出典: Reuters

AI Actの改版

「AI Act (Artificial Intelligence Act)」とは欧州員会(European Commission、EC)によるAI規制法で、EU内でAIを安全に運用するためのフレームワークとなる。現在、法案の最終調整が行われており、年内に最終案を取りまとめ、2025年からの施行を目指す。この過程で、「ファウンデーションモデル(Foundation Models)」と呼ばれるAIが追加された。ファウンデーションモデルとは大規模な言語モデルで、OpenAIの「ChatGPT」やGoogleの「Bard」など、生成AIが含まれる。これにより、ChatGPTなどが「ハイリスクなAI」と区分され、その運用に厳しい条件が課されることとなった。

ChatGPTなどに課される厳しい条件

改版されたAI Actは、生成AIを開発するOpenAIやGoogleに対し、製品の運用や開発で厳しい条件を科す(下のグラフィックス)。その条件は運用と開発の二つプロセスに適用される：

  • 運用における条件：AIが使われていることを示し、AIが有害なコンテンツを生成しないこと。AIが第三者企業の製品に組み込まれて利用される場合も、開発企業にこの義務が課される。
  • 開発における条件：AIのアルゴリズムの教育データに関し、著作物を使用した場合は、その概要を開示する。
出典: European Parliament

OpenAIはEUから撤退

これに対しOpenAIは強く反発した。CEOのSam Altmanは、AI Actの規制条件に沿うよう最大限の努力をするが、これが実現できなければ欧州市場から撤退すると述べた。AI Actに準拠できない場合は制裁金が課され、実質的に、EU域内で事業を展開できなくなる。Altmanは、後日、この発言を撤回し、欧州議会と協力していくことを確認したが(下の写真)、欧州連合と米国企業の亀裂が露呈した。

出典: Sam Altman

GoogleはAI協定を提案

欧州メディアによると、AlphabetのCEOのSundar Pichai(下の写真)はブリュッセルを訪問し、欧州連合幹部と会談した。Pichaiは、改版されたAI Actの規制条項に対し、独自の方式を示し、規制方針で現実的な合意点を模索している。PichaiはAI協定「AI Pact」を提案し、AI Actが施行されるまでの期間を対象に、AIの運用条件を提示した。AI Pactの内容は明らかになっていないが、AI Actが施行されるまでの期間に、AI開発を進める必要があり、協定に基づいてこれを実行するとしている。

出典: Google

米国ハイテク企業は反発

改訂版AI Actによる生成AIの規制について、米国のハイテク企業は反発を強めている。高度なAIを開発するSalesforceは、AI Actの規制指針は実情にそぐわないと指摘。生成AIは誕生したばかりの技術で、そのメカニズムが明らかになっていない。このため、生成AIを安全に開発運用するための指針や標準技術が確立されていない。準拠すべき基準が無い状態で、AI Actは何を根拠にChatGPTを規制するのか、疑問が呈されている。

米国と欧州の対立の根は深い

ハイテク企業をめぐる規制政策に関し、米国と欧州の間で衝突を繰り返してきた。直近の事例は「EU一般データ保護規則(General Data Protection Regulation、GDPR)」で、欧州員会はMetaなどにプライバシー保護で厳しい規制を課している。現在は、生成AIを中心に、OpenAIやGoogleに厳しい条件を科そうとしている。米国側は、EUは企業のイノベーションを阻害すると主張する。一方、EUは、世界に先駆けて、欧州が消費者の権利を守り、ソーシャルメディアやAIを安全に運用する手本を示していると主張する。

現実的な解を模索する

同時に、米国産業界で、現実的な解決策を探求する動きが始まった。その一つが、AIを段階的に規制する考え方で、市場で議論が広がっている。生成AIに関しては、動作原理が十分理解されておらず、安全な使い方に関し、共通の合意が形成されていない。そのため、これからの研究開発で、危険性を明らかにし、安全に運用するための技術標準化が求められる。これら安全技術の進展に応じ、運用するためのガイドラインを確立し、AI規制法を整備するのが現実的との意見が広がっている。米国市場はEUがAI Actに段階的な規制を組み込むことを期待している。