AIが著名画家のスタイルを学び、写真を油絵に変換するアプリが登場した。撮影した写真を入力するとAIがそれを芸術作品に仕上げる。誰でも手軽に絵を描くことができ、アプリの人気が急上昇している。同時に、AIが芸術の価値を下げアーティストの仕事を奪うと懸念の声も聞かれる。

出典: Hugh Welchman

全て油絵で描かれた映画

全て油絵で描かれた映画が公開されようとしている。これは「Loving Vincent」という映画で、ゴッホ (Vincent van Gogh) の生と死を描いている。映画の全シーンは油絵で描かれ、しかも、ゴッホの画風となっている。ゴッホの一生が自身の油絵で表現されている。この映画で使われた油絵の数は65,000枚で、115人の画家が制作に携わってきた。映画は六年に及ぶ制作を終え、今年初頭に封切られる。

動画のフレームをゴッホ流に描写

映画製作では俳優の演技をカメラで撮影し、それぞれのシーンを画家が油絵で描く。画家はゴッホのスタイルを学習し、動画のフレームをゴッホ流に描写していく。ポーランドの男優Robert Gulaczyk （上の写真右側）がゴッホを演じ、油絵として表現される (同中央)。男優はゴッホが描いた自画像「Self Portrait」 (同左側) のタッチで描写される。世界初の油絵映画として封切り前から話題となっている。

AIが画家のスタイルを習得

映画公開を前にGoogleから興味深い論文の発表が相次いだ。GoogleはAIが画家のスタイルを習得し、そのタッチで絵を描く技術を開発した。上述の映画のように、AIが写真を見てそれをゴッホのスタイルに変換する。一般に、芸術家の技法を手本に作成された作品はPasticheと呼ばれる。Loving VincentはPasticheで構成された映画として注目されている。

写真を著名画家の作風で再構成

Googleは絵画に関するPasticheをDeep Neural Networkで実装し、その成果を「A Neural Algorithm of Artistic Style」という論文で発表した。この技法は入力された写真を著名画家の作風で再構成する。

出典: Leon A. Gatys, Alexander S. Ecker, Matthias Bethge

ネットワークに写真 (上の写真左上) を入力すると、写真は三つのスタイルで作画される。左下はゴッホのスタイルに変換したもので、ここでは「The Starry Night (星月夜)」 (左下の小枠) を手本としている。右上はイギリスの画家ターナーによる「The Shipwreck of the Minotaur (マイノーターの難破)」を手本とし、右下はムンクの代表作「The Scream (叫び)」を手本としている。

ネットワークの構造

ネットワークはConvolutional Neural Network (CNN、イメージを認識する機能) を使っている。単一ネットワークが二つの機能を持ち、入力された写真を変換し、同時に、画家のスタイルを習得する。前者のプロセス (下の写真下段、Content Reconstructions) で、入力された写真の細部は切り落とされ、大まかな全体像が生成される。後者のプロセス (下の写真上段、Style Representations) で、画家の作品をネットワークに入力してスタイルを教育する。ネットワークの格段で特徴量を抽出し、絵画のタッチなど画家のスタイルを把握する。最後に写真と絵画を重ね合わせて最終イメージを生成する。

出典: Leon A. Gatys, Alexander S. Ecker, Matthias Bethge

32の異なるスタイルのPasticheを生成

更に、Googleは上述の技法を強化した論文「A Learned Representation for Artistic Style」を発表した。単一ネットワークが32の異なるスタイルのPasticheを生成できる技術を開発した。下の写真がその事例で、写真 (左端) を入力すると、写真は五つの異なるスタイル (最上段) で変換される。前述の技法は一つのスタイルに限定されていたが、この技法では32のスタイルで絵を描くことができる。

出典: Vincent Dumoulin & Jonathon Shlens & Manjunath Kudlur

静止画だけでなくビデオを生成

更にこのネットワークは入力イメージの再構築をリアルタイムで実行する。つまりビデオを入力することができ、再構築されたビデオが出力される。Googleはこの技術を開発した理由を新しい芸術の門を開くためとしている。また、画家のスタイルを学習したネットワークはスマホアプリとしても利用できるとしている。

写真をアートにするアプリ

事実、ベンチャー企業からPasticheアプリが出荷されている。その中で注目のアプリは「Prisma」で、2016年夏にリリースされ5000万回ダウンロードされている。Prismaに写真を入力するとそれを著名な画家のスタイルで再構築する。Prismaは写真をフィルタリングしたり編集するアプリとは仕組みが根本的に異なる。前述の技法を使っており、AIが写真を分解し、学習した著名画家のスタイルで再構築する。写真が作画されたようにアートに生まれ変わる。

出典: VentureClef

モンドリアンが東京駅を描くと

Prismaに撮影した写真を入力する (上の写真左側) と、アプリは写真の下に、著名画家の作画スタイル (上の写真右側下段) を示す。希望のスタイルを選択すると写真がそのイメージに変換される。例えばモンドリアン (Piet Mondrian) のスタイルを選択すると、写真が縦横に分割され、赤青黄の三原色で再構築される (上の写真右側上段)。モンドリアンが蘇り東京駅を描くと、このような作品になるのかもしれないと、このアプリは想像を掻き立てる。この他にピカソ (Pablo Picasso) や葛飾北斎の「冨嶽三十六景」などのタッチも用意されている。

芸術の新分野を形作

アプリの普及とともにPasticheファンが増えている。写真サイトInstagramにはPrismaで生成したPasticheがたくさん掲載されている (下の写真)。どの写真を変換してもアートになるわけではなく、ここには見栄えのするPasticheが数多く掲載され、芸術の新分野を形作っている。Instagramには元々魅力的な写真が多いが、Prismaの登場でこれらが絵画になり写真の楽しみ方が豊かになった。

出典: Instagram

AIが芸術家の仕事を奪う

同時に、AIが芸術家の仕事を奪うのではとの懸念の声も広がってきた。AIが動画のPasticheを生成できるので、Loving Vincentのような映画制作では芸術家が不要となる可能性も指摘される。一方、芸術家はPastiche制作という機械的な仕事から解放され、独自の創作活動に打ち込めるという考え方もある。AIは必ず手本を必要とし、独自の手法を生み出すわけではない。AIはコピーの域を抜け出すことはできず、芸術は人間の独創性から生まれる。

AIのビジネスチャンス

Pasticheを生成するAIは新しいビジネスを生むきっかけとなる。人間の芸術家が手作業でPasticheを作るより、これをAIに任せることで製作時間が大幅に短縮できる。特に、AIはアニメ制作で大きな可能性を秘めている。著名アニメアーティストのスタイルをAIが学習し、人間に代わりアニメ映画の製作などが期待される。事実、Prismaはアニメスタイルに変換するオプションを備えている。人間は創作活動に打ち込み、AIが作業を代行するという区分けができつつある。