人気歌手Taryn SouthernはAIで作曲した音楽を発表し話題となっている。AIが作曲した音楽にSouthernが歌詞を付け歌っている(下の写真)。実は、我々が聴いている音楽の多くはAIが作曲している。実際に、AIで作曲してみたが、簡単に感動的な音楽を生成することができた。ビジネスで使える高品質な音楽で、AIミュージックの進化を肌で感じた。

出典: Taryn Southern

Amper Scoreをトライアル

作曲で使ったAIは「Amper Score」で、ニューヨークに拠点を置くベンチャー企業「Amper Music」が開発した。Amper ScoreはAI作曲プラットフォームでクラウドとして提供される。音楽のスタイルやムードを指定するとAmper Scoreがそれに沿った音楽を生成する。プロ歌手が使うだけでなく、ビデオの背景音楽を生成する利用方法が広がっている。メディア企業は映像にマッチする音楽をAmper Scoreで生成する。

Amper Scoreの使い方

Amper Scoreは設定に沿った音楽をアルゴリズムが生成する。音楽のスタイル、情景、ムードなど指定すると、これに沿ったサンプル音楽が生成される。例えば、音楽のスタイルを「Cinematic」に、情景を「Ambient」に、ムードを「Confident」と指定すると、「Soap Opera Drama」という音楽が生成された(下の写真)。お昼のメロドラマの背景音楽にピッタリの甘くて危険な感じのする曲が生成された。

出典: VentureClef / Amper Music

楽器の設定など

生成された音楽をそのまま使うこともできるが、更に、演奏する楽器などを設定することができる。ここでは背景音、ギター、パーカッション、弦楽器などを指定できる。弦楽器ではバイオリン、ビオラ、チェロなどを指定でき、更に、それらの音質を指定できる(下の写真)。「Robust」と指定すると歯切れのいい音に、「Sweet」とすると柔らかい音になる。

出典: VentureClef / Amper Music

全体の構成など

事前に音楽の構成として、全体の長さ、イントロ(Intro)、メインテーマ (Climax)、エンディング(Outro)の長さを指定しておく。設定が完了し再生ボタンを押すと、AIが生成した音楽を聴くことができる。出来栄えを把握し、必要に応じて設定を変更し、求めているイメージに合った音楽に仕上げていく。

プロモーションビデオ

実際に上述の手順でサンフランシスコの観光案内ビデオをAmper Scoreで作成した(下の写真)。Union Squareをケーブルカーが走るビデオをアップロードし、設定画面で「Hip Hop」スタイルと「Heroic」ムードを選択。これだけの操作で、テンポのいいリズムに合わせ弦楽器がスタンドプレーする華やかな音楽ができた。更に、バイオリンやハイハットなどの音色を調整し10分程度でプロモーションビデオが完成した。商用コマーシャルとして使える高品質な出来栄えとなった。

出典: VentureClef / Amper Music

大手企業で利用が始まる

AIで音楽を生成する手法は大企業で採用が進んでいる。大手ニュース配信会社Reutersはコンテンツ生成プラットフォーム「Reuters Connect」を発表した。これはニュースコンテンツの販売サイトで、世界のジャーナリストはここでビデオを購入し、それを編集し、自社の記事で利用する。Reuters ConnectでAmper Scoreが使われており、利用企業はこのサイトでニュース映像にマッチする音楽を生成する。

AIが音楽産業を変える

AIミュージックの技術進歩は激しく、このペースで進化するとアルゴリズムが人間の作曲家の技量を上回る時代が来るのは間違いない。トップチャートの20%から30%はAIが作曲するとの予測もある。一方、AIが生成する音楽はフェイクミュージックで、人間が創り出した音楽の模倣で、創造性は認められないという意見も少なくない。議論は分かれるが、メディア産業はAIによりその構造が激変している。

【AIが音楽を生成する仕組み】

GoogleのAI音楽プロジェクト

音楽生成と自然言語解析はメカニズムがよく似ており背後で稼働するニューラルネットワークは同じものが使われる。Googleは音楽を生成するAI技法「Music Transformer」を開発した。Music Transformerは文字通り「Transformer」という高度なニューラルネットワークで音楽を生成する。

AIが音楽を生成するメカニズム

Transformerは自然言語解析で使われ、入力された文章に続く言葉を推測する機能を持つ。Transformerは機械翻訳で威力を発揮し「Google Translate」の背後で稼働している。Music Transformerはこの仕組みを音楽に応用したもので、アルゴリズムが次の音を予測する。つまり、AIが音楽を生成するとはTransferが音を読み込み、それに続く音を予測する処理に他ならない。

作曲を可視化すると

実際に、AIが音楽を生成する過程(下のグラフィックス)を見るとMusic Transformerの機能を理解しやすい。音楽は左から順に生成され、ピンクの縦軸がMusic Transformerが音を生成している個所を指す。その左側の黒色のバーは生成された音楽で、円弧はMusic Transformerとの依存関係を示している。Music Transformerは特定のHidden State(円弧がポイントする部分)を参照し音を生成する。つまり、Music Transformerは直近に生成した音だけでなく、遠い過去に生成した音を参照して音楽を生成していることが分かる。

出典: Cheng-Zhi Anna Huang et al.

作曲が難しい理由とMusic Transformerの成果

音楽を生成するのが難しい理由は、音楽は異なるスケールの時間軸で構成されているため。音はすぐ前の音と繋がりを持ち(モチーフの繰り返しなど)、また、遠い過去の音との繋がりを持つ(複数小節の繰り返しなど)。従来手法(Recurrent Neural Networkを使う手法)は長期依存の機能は無く(遠い過去の音は参照できない)、最初に登場するモチーフは繰り返されない。これに対し、Music Transformerは短期と長期の依存があり、最初に登場するモチーフを繰り返し、ここから独自に音楽を展開できるため、高品質な音楽が生成される。上述のTaryn SouthernはAmper ScoreやGoogle Music Transformerを使って作曲している。新世代の歌手は芸術性だけでなくデータサイエンティストとしての技量も求められる。

Alphabet子会社であるWaymoとDeepMindは共同で、AIで自動運転アルゴリズムを生成する技法を開発した。自動運転車はニューラルネットワークで周囲のオブジェクトを把握し、その挙動を予想し、クルマの進行方向を決める。今までは、研究者がニューラルネットワークを開発してきたが、この技法を使うとAIがニューラルネットワークを生成する。AIがAIを生成する技法は既に登場しているが、これを自動運転車に適用したのはWaymoが初となる。

出典: Waymo

アルゴリズム教育

自動運転車はニューラルネットワークが安全性を決定する。Waymoは複数のニューラルネットワークを使い、センサーデータを解析し、車線や道路標識や歩行者や車両などを判定する(上の写真)。新しいデータを収集した時や、新しい場所で運転を開始する際は、ニューラルネットワークの再教育が必要となる。しかし、ニューラルネットワークを教育し、その精度を検証するには時間を要す(数週間かかるといわれている)。

ハイパーパラメータ最適化

アルゴリズム教育はニューラルネットワークのハイパーパラメータの最適化(Hyperparameter Optimization)に帰着する。ハイパーパラメータとはニューラルネットワークの基本形式で、学習速度(Learning Rate)、隠れ層(Hidden Layer)の数、CNNカーネル(Convolution Kernel)の大きさなどから構成される。ニューラルネットワークの教育を開始する前に、これらハイパーパラメータを決めておく。

AIで最適なハイパーパラメータを見つける

最適なハイパーパラメータを見つけるためには、異なる種類のハイパーパラメータを並列に稼働させ、それを検証して性能を比較する。この方式は「Random Search」と呼ばれ、AI(Deep Reinforcement Learning)の手法を使い、最適なハイパーパラメータを探す。Googleはこの方式を「AutoML」と呼び、クラウドで一般に提供している。WaymoはこのAutoMLを使い(下の写真、AutoML Architecture Searchの部分)、自動運転アルゴリズムの開発を始めた。

出典: Waymo

DeepMindが開発した新方式

DeepMindはAutoML方式を改良したシステム「Population Based Training　(PBT)」を開発した。Waymoは2019年7月、この方式で自動運転アルゴリズムを開発し、性能が大きく向上したことを明らかにした。PBTもRandom Searchでハイパーパラメータを探すが、ここにダーウィンの進化論(Theory of Evolution)を適用し、自然淘汰の方式で最適な解にたどり着く。複数のニューラルネットワークが性能を競い合い、勝ったものだけが生き残る方式を採用している。

Population Based Trainingとは

具体的には、複数のニューラルネットワークを並列で教育し、それらの性能を測定する。最高の性能を達成したニューラルネットワークが生き残り、それが子供ネットワーク「Progeny」を生み出す(下の写真、複数の子供ネットワークが教育されている概念図)。

出典: DeepMind

子供ネットワークは親ネットワークのコピーであるが、ハイパーパラメータの形が少しだけ変異(Mutate)している。自然界の摂理を参考に、ネットワークが子供に受け継がれたとき、その形を少し変異させる。生成された複数の子供ネットワークを教育し、そこからベストのものを選別し、このプロセスを繰り返す(下の写真：親ネットワークから子供ネットワークが生成される)。

出典: DeepMind

才能を見抜く技術

PBTは優秀な子供ネットワークにリソースを集中させ、人間に例えると英才教育を施す仕組みとなる。これがPBTの強みであるが弱点でもある。PBTは短期レンジで性能を判定するため、今は性能は出ないが将来開花する遅咲きのネットワークを見つけることができない。この問題に対応するため、PBTは多様性を増やすことで遅咲きのネットワークを育てた。具体的には、ニッチグループ(Sub-Population)を作り、この中でネットワークを開発した。ちょうどガラパゴス諸島で特異な機能を持つ生物が生まれるように、閉じられた環境でエリートを探した。

クルマに応用

PBTは野心的なコンセプトであるが、実際にそれをWaymo自動運転車に適用し、その効果が実証された。BPTはオブジェクトを判定するニューラルネットワーク(Region Proposal Network)に適用された。このアルゴリズムは周囲のオブジェクト(歩行者、自転車、バイクなど、下の写真右側)を判定し、それを四角の箱で囲って表示する(下の写真左側)。その結果、アルゴリズムの判定精度が向上し、遅延時間が短く(短時間で判定できるように)なった。更に、Waymoは複数のニューラルネットワークでこの処理を実施しているが、PBTにより一本のニューラルネットワークでこれをカバーできることが分かった。

出典: Waymo

判定精度が大幅に向上

PBTによりアルゴリズムの性能が大幅に向上したが、具体的には、PBTで生成したニューラルネットワークは従来の方式に比べ、従来と同じ再現率 (Recall、例えば周囲の自転車をもれなく検知する割合)で精度(Precision、例えば検知したオブジェクトを正しく自転車と判定する割合)が24%向上した。また、PBTは従来方式に比べ必要な計算機の量が半分となったとしている。

Googleのコア技術

Googleのコア技術はAIでこれをWaymoが採用することで自動運転アルゴリズムが大きく進化した。上述のAutoMLはGoogle Brain(AI研究所)で開発され、さらに高度なPBTはDeepMindが開発した。自動運転車はニューラルネットワークがその商品価値を決めるが、Googleのコア技術であるAIがWaymoの製品開発を後押ししている。

Googleは2019年7月、次世代スマホ「Pixel 4」の機能を公開した。Pixel 4は小型レーダーを搭載しハンドジェスチャーでデバイスを操作することができる(下の写真)。また、Pixel 4は初めて顔認証方式を採用し、顔をかざしてスマホをアンロックできる。Pixel 4は未発表製品であるが、写真などがリークしており、Googleは発表前にデバイスや機能を公開するという異例の措置を取った。

出典: Google

Motion Sense

Googleの先端技術開発プロジェクト「Advanced Technology and Projects 」は手の動きを感知するレーダー技術の開発を進めてきた。これは「Soli」と呼ばれ次期スマホPixel 4に搭載され(下の写真、Soli Radar Chip)、ハンドジェスチャーでデバイスを操作できる。レーダーはスマホ周辺の小さな動きを検知し、それをアルゴリズムで解析してハンドジェスチャーの意味を理解する。これにより、スマホに触らないでアプリを操作できる。また、Soliは利用者がスマホの近くにいることも検知する。

出典: Google

Motion Senseの活用方法

Motion Senseを使うとスマホの前で指や手を動かせてアプリを操作できる。音楽を聴いているときに手を振ると次の曲にスキップする。目覚まし時計が鳴っているときにスマホの上で手を振ると音が止む。電話がかかってきた時に手を振ると呼び出し音を止めることができる。この技術はスマホだけにとどまらず、今後はスマートウォッチやスマートホーム機器をハンドジェスチャーで操作することを計画している。

Face Unlock

GoogleはPixel 4に顔認識技術を取り入れ、顔をかざしてデバイスをアンロックする方式を採用することも明らかにした(上の写真、Face Unlockセンサーの配置)。これは「Face Unlock」と呼ばれ、スマホに顔を向けるだけでデバイスがアンロックされる(下の写真)。既にApple iPhoneで「Face ID」として使われているが、Face Unlockはこの機能を上回り使いやすくなった。

出典: Google

Face Unlockの使い方

Apple Face IDはiPhoneを取り上げ、それを顔の前にかざし、指で画面を下から上にスワイプしてデバイスをアンロックする。これに対し、Google Face Unlockは、Soliが利用者が近づいているのを検知し、Face Unlock機能を事前に起動する。顔がセンサーの視界に入り、アルゴリズムがこれを認証すると、Pixel 4が掴まれると同時にデバイスがアンロックされる。つまり、Pixel 4を持つだけでデバイスがアンロックされることになる。また、上下を逆に持ち上げられてもアルゴリズムは顔を認証できる。

セキュリティチップ

Face Unlock機能はPixel 4で稼働し、データは外部に出ることはなくデバイスに留まる。顔イメージなどの個人情報はデバイスに留まり、セキュリティやプライバシーに配慮した設計となっている。具体的には、顔を登録した際の情報は、Googleサーバに保管されることはなく、Pixel 4に搭載されるセキュリティチップ「Titan M」に格納される。Titan MはPixel 3から採用されデバイスの金庫として機能し、基本ソフトやアプリで扱うデータが安全に保管される。

Pixel 4の写真と名称

Googleは2019年6月、TwitterでPixel 4の写真を公開した(下の写真)。同時に、この製品は「Pixel 4」という名称であることも明らかにした。Pixel 4のカメラ仕様について様々な憶測が飛び交っていたが、これによりリアカメラは１台で箱型のケースに搭載されることが明らかになった。ネット上にはリークしたPixel 4の写真が掲載されており、Googleはこの発表でこれを追認したことになる。

出典: Google

Soliとは

Soliは電磁波を使ったセンサーで、半導体チップから電磁波を発信し、オブジェクトで反射したシグナルをアンテナで計測する仕組みとなる。反射波のエネルギー、遅延時間、周波数シフトを計測し、それを解析することでオブジェクトの大きさ、形状、向き、材質、距離、速度を推定する。レーダーの解像度は低いが、手や指の動きを正確に把握できる。シグナルを時系列に分析する手法「Gesture Recognition Pipeline」を使い、アルゴリズム(AI)が特定の動作(ジェスチャー)をシグナルから特定する。レーダーはカメラなど他のセンサーと比べ細かな動きを把握できる特性を持ち、指先の小さな動きも正確に把握する。

出典: Google

応用分野は幅広い

SoliはPixel 4に搭載されるが、幅広い製品に応用することを検討している。スマートウォッチに搭載すると、指を動かしアプリを操作できる。Google Mapsをスクロールするには、指でクラウンを回す動作をする(上の写真)。Soliのシグナルは服などを透過するため、ポケットやカバンにいれたスマホを指で操作できる。また、暗い場所でもジェスチャーで操作できる。Pixel 4は、言葉での指示に加え、ハンドジェスチャーでも操作できるようになる。