OpenAIは言葉の指示に従ってイメージを生成するAI「DALL·E 2」を開発した。生成されるイメージは高品質で、人間が作成したものと区別はつかない。描きたい内容をテキストで入力すると、DALL·E 2はそれに沿った画像を生成する。「馬に乗った、宇宙飛行士を、写真イメージで」と入力すると、DALL·E 2は架空の世界を描き出す(下の写真)。画家サルバドール・ダリ(Salvador Dali)のように、機知に富んだ芸術性を発揮する。

出典: OpenAI

DALL·E 2とは

OpenAIは2022年4月、テキストをイメージに変換する機能を持つDALL·E 2を公開した。初代のモデルは「DALL·E」と呼ばれ、2021年1月にリリースされた。DALL·E 2は機能が大きく進化し、高品質なイメージを生成できるだけでなく、生成したイメージを編集する機能が加わった。DALL·E 2が描き出すイメージは高品質で、テキストだけでなく、グラフィックスの領域でも、AIが人間を上回る機能を示した。

出典: OpenAI

(上の写真、「朝日の中で、草原にいるキツネを、モネのスタイルで」と指示すると、DALL·Eはそれに沿ったイメージを描き出す。左側が初代のDALL·Eで、右側がDALL·E 2。DALL·E 2は解像度が上がり、品質が向上していることが分かる。)

言葉の指示に従って作画

DALL·E 2はイメージを生成するAIモデルで、テキストの指示に従って画像を出力する。例えば、「画家ダリの、肖像画を、半分ロボットで」と指示すると、DALL·E 2はその命令に従った画像を生成する(下の写真左端)。また、「柴犬が、ベレー帽と、タートルネックをまとう」と入力すると、そのイメージを生成する(下の写真中央)。因みに、DALL·Eとは、画家サルバドール・ダリ(Salvador Dali)と、映画で有名になったロボット「WALL·E」を掛け合わせた造語で、奇抜な世界を描き出すAI画家を意味する。

出典: Aditya Ramesh et al.

イメージを編集する機能

DALL·E 2は画像を高精度で編集する機能を持っている。画像の中で編集する場所を示し、そこに指定したオブジェクトを挿入する。例えば、画像の中の②の場所に、フラミンゴを挿入、と指示すると(下の写真左側)、それに沿ったイメージを生成する(下の写真右側)。挿入されたフラミンゴは、環境に溶け込み、水面での反射も表示されている。DALL·E 2は、画像に描かれたオブジェクトを把握し、その特性を理解する。

出典: OpenAI

スタイル変換

DALL·E 2は、オリジナルのスタイルを踏襲して、異なるイメージを生成する。例えば、画家グスタフ・クリムト(Gustav Klimt)の作品「接吻(The Kiss)」のイメージをベースに(下の写真左側)、DALL·E 2は異なる作品を生成する(下の写真右側)。巨匠のタッチを学習し、その秀作を創り出す。

出典: OpenAI

テキストと画像の関係を学習

DALL·E 2は、テキストと画像の関係を学習し、入力されたテキストに従ってイメージを出力する。例えば、DALL·E 2は「コアラ(Koala Bears)」というテキストに対応するコアラの画像を数多く学習し、両者の関係を学習する。また、DALL·E 2は、「バイク(Motorcycle)」というテキストに対応するバイクの画像を学習する。そして、DALL·E 2は、コアラとバイクという概念を把握し、「バイクを運転するコアラ」のイメージを生成できるようになる(下の写真)。

出典: OpenAI

開発された目的

DALL·E 2は商用モデルではなく、AIの基礎研究のために開発された。DALL·E 2は、クリエーター向けには、簡単に思い通りのイメージを生成するツールとなる。創造性の発揮を支援するAIとして位置付けられる。また、AI研究者は、DALL·E 2のアルゴリズムが何を学んだかを検証できる。例えば、DALL·E 2に「Tree Bark」と指示すると、アルゴリズムは「木の樹皮」(下の写真左側)や「木に向かって吠える犬」(下の写真右側)を出力する。DALL·E 2は「Bark」という言葉を「樹皮」と「吠える」という意味に解釈していることが分かる。このように、DALL·E 2は、AIが人間の世界をどう解釈しているかがイメージで示され、アルゴリズムのブラックボックスを開き、判定理由を説明する機能を提供する。

出典: OpenAI

制限事項

DALL·E 2が生成するイメージは、教育データが正しいことを前提にしている。間違った教育データを使うと、DALL·E 2は間違ったイメージを生成する。例えば、「飛行機」の写真を「犬」の写真と、間違って教育されると、DALL·E 2は教えられた通り、間違ったイメージを生成する。また、教育を受けていない事項を問われると、間違った回答をする。例えば、サルの一種である「Howler Monkey(ホエザル)」と指示されると、DALL·E 2はこの単語について教育を受けておらず、「吠えているサル」のイメージを出力する(下の写真左側)。Howling Monkeyは南米を中心に生息するサルの一種(下の写真右側)。

出典: OpenAI / Wikipedia

危険性の評価

DALL·E 2はAIが内包している危険性が高く、一般には公開されていない。現在、OpenAIのチームが、どのような危険性があるのか、アルゴリズムを評価している。DALL·E 2は、ヌードイメージ、ヘイトスピーチ、暴力など、危険なコンテンツを生成する可能性がある。特に、著名人に関連する危険なイメージが生成されると、その社会的な影響は甚大で、取り扱いには注意を要す。また、DALL·E 2が悪用されると、自由自在に高品質なフェイクイメージを生成でき、世論操作などに使われるリスクがある。

バイアス

DALL·E 2が出力するイメージは、人種や性別に関し公平ではなく、バイアスしていることも分かっている。これは教育データが特定の種別に偏っているためで、生成されるイメージは白人が中心で、西洋のライフスタイルが描写される。また、性別によるバイアスもあり、「a flight attendant」と指示すると、DALL·E 2は女性のキャビンアテンダントを生成する(下の写真)。ここには男性のキャビンアテンダントは含まれていない。DALL·E 2はアルゴリズムのバイアスを検知するツールとして使われる。

出典: OpenAI

AIがクリエーターを置き換える

研究成果はソーシャルメディアにも公開されており、DALL·E 2が生成したイメージは好意的に受け止められている。DALL·E 2は、現実社会には存在しない仮想空間を幻想的に描き、表現が感動的とのコメントが目立つ。同時に、DALL·E 2は人間レベルのスキルに達し、これからクリエーターがアルゴリズムで置き換わることになる。AIがアニメを制作する時代になり、また一つ人間の雇用が脅かされる。(下の写真左側「ウサギの探偵が、ベンチに腰掛け新聞を読む、ビクトリア風に」に描いたもの。下の写真右側「16世紀の日常生活を、8K HDで、詳細に」描いたもの。)

出典: Loreto Parisi / Merzmensch Kosmopol

Nvidiaは、今週、開発者会議「GTC 2022」をオンラインで開催した。基調講演でCEOのJensen HuangがNvidiaのAI研究の最新成果を発表した。Nvidiaは科学技術向けメタバースである地球のデジタルツインを生成し、この３Dモデルで気候変動の研究を進めている(下の写真)。Nvidiaは米国国立研究所と共同で、地球のデジタルツインで台風や集中豪雨の発生を予測するモデルを開発した。数学モデルではなく、AIで気象の変化を予測することで、処理時間を劇的に短くすることに成功した。

出典: Nvidia

現行の天気予報の仕組み

天気予報は、海洋や陸地の状態を数値予報モデル(Numerical Weather Prediction)で表し、これをスパコンでシミュレーションする手法となる。具体的には、数値予報モデルに、現在の気象データを入力し、将来の値を計算することで状態の変化を予測する。様々な数値予測モデルが使われているが、ヨーロッパ中期予報センター(ECMWF)が開発した「Integrated Forecast System」がその代表となる。これは「欧州モデル(European Model)」とも呼ばれる。

米国のモデル

一方、米国においては、アメリカ国立気象局(National Weather Service)が開発した「Global Forecast System」が使われる。これは「米国モデル(American Model)」と呼ばれ、米国内の天気予報で使われている。一般に、欧州モデルのほうが高性能で正確な予測ができるとされる。一方、米国モデルは長期レンジ(最長16日先まで)の予測ができる点に特長がある。両モデルともシステム規模が巨大で、これを実行するには世界でトップクラスのスパコンが必要になる。

AIで天気を予測する

これらに対して、Nvidiaなどが開発した予測モデルはAIを使って気象の状態を予測する。この予測モデルは「Fourier ForeCasting Neural Network(FourCastNet)」と呼ばれ、短期から中期レンジで、台風(Typhoon)や集中豪雨(Atmospheric River)など、異常気象を予測することができる(下のグラフィックス、中段)。FourCastNetは、短時間に高精度で天気を予測することができる。欧州モデルに比べ45,000倍高速で予測することができる。

出典: Jaideep Pathak et al.

AIで予測する仕組み

現行の数値予報モデルは、数学モデルをスパコンで計算し、その解を求める手法であるが、FourCastNetはニューラルネットワークで気象を予測する。ニューラルネットワークが過去の気象データを学習し、将来のイベントを高精度で予測する。FourCastNetの教育では、ヨーロッパ中期予報センターの気象データ「ERA5」が使われ、10TBのデータでニューラルネットワークが教育された。

気象予測の事例

FourCastNetを使うと台風の発生を正確に予想できる。実際に、FourCastNetは「Typhoon Mangkhut(平成30年台風第22号)」の発生を正確に予測した(上のグラフィックス)。この台風は、フィリピンや中国、香港などに甚大な被害をもたらした。FourCastNetが予測する範囲はグローバルで、地球全体をカバーする(中央部)。日本の南の海上でMangkhutが発生した(左側最下段)が、FourCastNetはこれを正確に予測した(左側中段)。

ModulusとOmiverse

FourCastNetは地球のデジタルツインに構築され(下の写真)、気象モデルをインタラクティブに操作できる。デジタルツイン生成では「NVIDIA Omniverse」が使われ、スパコン「Earth-2」で実行された。また、AIモデルは「NVIDIA Modulus」が使われ、AIで物理問題を解析するためのツールが揃っている。具体的には、変微分方程式(partial differential equations)を解くためのニューラルネットワークが使われた。

出典: Nvidia

地球温暖化の研究

地球のデジタルツインを生成し、FourCastNetというAIモデルで気象予測を実行するのは、日々の天気予報を求めるためではなく、地球温暖化問題を解明する研究の一環となる。現行モデルで気象予測を実行すると、スパコンを使っても長時間かかる。これに対し、FourCastNetをEarth-2で実行すると、45,000倍速く予測結果を得ることができる。つまり、数多くのモデルを並列して実行でき(下の写真)、地球温暖化対策の研究を効率的に進めることができる。

出典: Nvidia

ウクライナ(Ukraine)政府はロシアがフェイクビデオを使って情報操作する危険性を表明し、国民に冷静な対応を呼びかけていた。実際に、ゼレンスキー(Zelensky)大統領のフェイクビデオがメディアに掲載された(下の写真)。偽の大統領は国民に、武器を捨ててロシアに投降するよう呼びかけた。MetaはこのビデオはDeepfakesであると判定し、プラットフォームから削除した。戦時下においてはAIを使った情報戦が展開されるが、今回はそのプロトタイプが登場し、デジタル兵器の攻防が始まった。

出典: Operational Report @ Telegram

ゼレンスキー大統領の偽ビデオ

3月16日、ゼレンスキー大統領がビデオメッセージで、国民に武器を捨ててロシアに投降するよう呼びかけた。これはウクライナに対する情報戦で、ビデオはアルゴリズムにより生成されたDeepfakesで、本人の演説ではない。Metaはこれをフェイクビデオであると特定し、プラットフォームから記事を削除した(下の写真)。ロシアがウクライナに侵攻した後、Metaは特別チーム「Special Operations Center」を形成し、24時間体制で情報操作をモニターしており、このフェイクビデオを即座に検知することができた。

出典: Meta

ロシアでビデオが拡散

このフェイクビデオはMetaのプラットフォームからは削除されたが、他のソーシャルネットワークで拡散している。メッセージングアプリ「Telegram」にこのフェイクビデオが掲載され、ここには、「ハッカーがウクライナのサイトにこのビデオを掲載した」とのコメントが添えられている (先頭の写真)。また、ロシアのソーシャルネットワーク「VK」にも同じビデオが掲載され、クレムリンを指示するグループで拡散している。

テレビ局のハッキング

これに先立ち、ウクライナのテレビ局「Ukraine 24」がハッキングされ、テレビ画面に偽のテロップが表示された。フェイク・テロップはニュース画面の下部に表示され、ゼレンスキー大統領からのメッセージと偽り、「戦闘を止め武器を捨てる」よう国民に訴えた(下の写真、最下部)。また、「大統領は交渉に失敗し、キエフを去った」とも伝えている。

出典: Ukraine Now @ Telegram

ゼレンスキー大統領の対応

フェイクビデオに対し、ゼレンスキー大統領はショートビデオを公開し、偽情報を打ち消した(下の写真、Instagramから配信)。ショートビデオで、拡散したビデオは偽情報で、つたない手法の攻撃であると非難した。大統領はオフィシャルサイトから、定常的に国民にメッセージをショートビデオで配信しており、今回も、このアカウントから真実の情報を伝えた。

出典: Zelensky @ Instagram

フェイクビデオの完成度

実際に、フェイクビデオを見ると、完成度は低く、これは本物ではないと感じる。頭部が体に比べて大きく、不自然さを感じる。また、喋っている時に、頭部は動くが、体は不動のままで、強い違和感を覚える。Deepfakesを生成する高度なGANが開発されているが、このビデオは技術的には未熟で、完成の域に達していないことが分かる。このフェイクビデオはプロトタイプと解釈することもでき、これから技術改良が進み、判別が困難になると予想される。

Metaの特別チーム

ロシアはフェイクニュースなどを使って情報戦を展開しており、西側諸国が被害を受けている。米国においては、2016年の大統領選挙で、ロシアは大規模な情報操作戦を展開し、これがトランプ大統領の当選に繋がったとされる。Meta(当時はFacebook)は、ネットワークに掲載された偽情報を削除するなどの措置は取らず、米国社会から強い批判を受けた。これを教訓に、2020年の大統領選挙では、特別チームを形成し、偽情報をリアルタイムでモニターし、ロシアのデジタル攻撃を防いだ。ロシアのウクライナ侵攻では、再度、独別チームを形成し、デジタル戦を防衛している。