人気歌手Taryn SouthernはAIで作曲した音楽を発表し話題となっている。AIが作曲した音楽にSouthernが歌詞を付け歌っている(下の写真)。実は、我々が聴いている音楽の多くはAIが作曲している。実際に、AIで作曲してみたが、簡単に感動的な音楽を生成することができた。ビジネスで使える高品質な音楽で、AIミュージックの進化を肌で感じた。

出典: Taryn Southern

Amper Scoreをトライアル

作曲で使ったAIは「Amper Score」で、ニューヨークに拠点を置くベンチャー企業「Amper Music」が開発した。Amper ScoreはAI作曲プラットフォームでクラウドとして提供される。音楽のスタイルやムードを指定するとAmper Scoreがそれに沿った音楽を生成する。プロ歌手が使うだけでなく、ビデオの背景音楽を生成する利用方法が広がっている。メディア企業は映像にマッチする音楽をAmper Scoreで生成する。

Amper Scoreの使い方

Amper Scoreは設定に沿った音楽をアルゴリズムが生成する。音楽のスタイル、情景、ムードなど指定すると、これに沿ったサンプル音楽が生成される。例えば、音楽のスタイルを「Cinematic」に、情景を「Ambient」に、ムードを「Confident」と指定すると、「Soap Opera Drama」という音楽が生成された(下の写真)。お昼のメロドラマの背景音楽にピッタリの甘くて危険な感じのする曲が生成された。

出典: VentureClef / Amper Music

楽器の設定など

生成された音楽をそのまま使うこともできるが、更に、演奏する楽器などを設定することができる。ここでは背景音、ギター、パーカッション、弦楽器などを指定できる。弦楽器ではバイオリン、ビオラ、チェロなどを指定でき、更に、それらの音質を指定できる(下の写真)。「Robust」と指定すると歯切れのいい音に、「Sweet」とすると柔らかい音になる。

出典: VentureClef / Amper Music

全体の構成など

事前に音楽の構成として、全体の長さ、イントロ(Intro)、メインテーマ (Climax)、エンディング(Outro)の長さを指定しておく。設定が完了し再生ボタンを押すと、AIが生成した音楽を聴くことができる。出来栄えを把握し、必要に応じて設定を変更し、求めているイメージに合った音楽に仕上げていく。

プロモーションビデオ

実際に上述の手順でサンフランシスコの観光案内ビデオをAmper Scoreで作成した(下の写真)。Union Squareをケーブルカーが走るビデオをアップロードし、設定画面で「Hip Hop」スタイルと「Heroic」ムードを選択。これだけの操作で、テンポのいいリズムに合わせ弦楽器がスタンドプレーする華やかな音楽ができた。更に、バイオリンやハイハットなどの音色を調整し10分程度でプロモーションビデオが完成した。商用コマーシャルとして使える高品質な出来栄えとなった。

出典: VentureClef / Amper Music

大手企業で利用が始まる

AIで音楽を生成する手法は大企業で採用が進んでいる。大手ニュース配信会社Reutersはコンテンツ生成プラットフォーム「Reuters Connect」を発表した。これはニュースコンテンツの販売サイトで、世界のジャーナリストはここでビデオを購入し、それを編集し、自社の記事で利用する。Reuters ConnectでAmper Scoreが使われており、利用企業はこのサイトでニュース映像にマッチする音楽を生成する。

AIが音楽産業を変える

AIミュージックの技術進歩は激しく、このペースで進化するとアルゴリズムが人間の作曲家の技量を上回る時代が来るのは間違いない。トップチャートの20%から30%はAIが作曲するとの予測もある。一方、AIが生成する音楽はフェイクミュージックで、人間が創り出した音楽の模倣で、創造性は認められないという意見も少なくない。議論は分かれるが、メディア産業はAIによりその構造が激変している。

【AIが音楽を生成する仕組み】

GoogleのAI音楽プロジェクト

音楽生成と自然言語解析はメカニズムがよく似ており背後で稼働するニューラルネットワークは同じものが使われる。Googleは音楽を生成するAI技法「Music Transformer」を開発した。Music Transformerは文字通り「Transformer」という高度なニューラルネットワークで音楽を生成する。

AIが音楽を生成するメカニズム

Transformerは自然言語解析で使われ、入力された文章に続く言葉を推測する機能を持つ。Transformerは機械翻訳で威力を発揮し「Google Translate」の背後で稼働している。Music Transformerはこの仕組みを音楽に応用したもので、アルゴリズムが次の音を予測する。つまり、AIが音楽を生成するとはTransferが音を読み込み、それに続く音を予測する処理に他ならない。

作曲を可視化すると

実際に、AIが音楽を生成する過程(下のグラフィックス)を見るとMusic Transformerの機能を理解しやすい。音楽は左から順に生成され、ピンクの縦軸がMusic Transformerが音を生成している個所を指す。その左側の黒色のバーは生成された音楽で、円弧はMusic Transformerとの依存関係を示している。Music Transformerは特定のHidden State(円弧がポイントする部分)を参照し音を生成する。つまり、Music Transformerは直近に生成した音だけでなく、遠い過去に生成した音を参照して音楽を生成していることが分かる。

出典: Cheng-Zhi Anna Huang et al.

作曲が難しい理由とMusic Transformerの成果

音楽を生成するのが難しい理由は、音楽は異なるスケールの時間軸で構成されているため。音はすぐ前の音と繋がりを持ち(モチーフの繰り返しなど)、また、遠い過去の音との繋がりを持つ(複数小節の繰り返しなど)。従来手法(Recurrent Neural Networkを使う手法)は長期依存の機能は無く(遠い過去の音は参照できない)、最初に登場するモチーフは繰り返されない。これに対し、Music Transformerは短期と長期の依存があり、最初に登場するモチーフを繰り返し、ここから独自に音楽を展開できるため、高品質な音楽が生成される。上述のTaryn SouthernはAmper ScoreやGoogle Music Transformerを使って作曲している。新世代の歌手は芸術性だけでなくデータサイエンティストとしての技量も求められる。