ベンチャーキャピタルの技術発表イベント、音楽ストリーミングにブロックチェーンを導入

ベンチャーキャピタル500 Startupsはサンフランシスコで発表イベントを開催し、スタートアップは開発した最新技術を披露した。カナダ・バンクーバーに拠点を置く新興企業Beatdappは音楽ストリーミング回数を計測する技術をブロックチェーンで開発し、そのデモを公開した(下の写真)。音楽ストリーミングサービスがブームであるが、配信企業と音楽制作会社の間で音楽配信回数が食い違い、訴訟に発展することも珍しくない。

出典: VentureClef

音楽ストリーミングサービスとは

音楽ストリーミングとは、音楽制作会社(Record Labels、レーベル)やアーティストが制作した音楽を、配信会社(Digital Service Provider、DSP)が消費者にオンデマンドで配信するサービスを指す。レーベルはWarner Music Groupなど大手三社と数多くの独立系(Indie Label、インディーズ)からなる。また、DSPではSpotifyがトップで、それをApple Music、Amazon Music、Tencent Musicなどが追っている。

音楽ストリーミング事業

音楽ストリーミングサービスでは音楽や音楽ビデオの配信回数で収入が決まる。この事業の収益は視聴者のサブスクリプションと広告収入で構成され、配信回数に応じてDSPがレーベルやアーティストに売り上げを分配する。しかし、Beatdappによると、世界600社の音楽ストリーミングサービスを調査すると、DSPが報告した配信回数と実際の配信回数の間に隔たりがある。DSPはレーベルやアーティストに過少申告し、その金額は$4.5Bに上るとしている。

音楽配信アナリティックス

この問題を解決するためBeatdappは音楽配信アナリティックス技術を開発した。レーベルやアーティストはBeatdappを利用することで、音楽配信情報を把握し、販売金額を正しく掴むことができる(下のグラフィックス)。具体的には、特定アーティストの音楽配信回数がグラフやテーブルで示される。例えば、The Poetというアーティストの曲が今月は1234回配信されたことが分かる。また、DSPごとの配信回数がグラフで表示され、SpotifyやApple Music経由での配信回数を掴むことができる。

出典: Beatdapp  

ブロックチェーン構成

音楽配信回数をカウントするためにはDSPがBeatdappをシステムに組み込む必要がある。DSPとしてはBeatdappを統合することで不正使用を検知でき、また、経理監査プロセスを自動化できるメリットがある。Beatdappはブロックチェーンを使ってシステムを運用している。システム構成は公開されていないが社名(Beat + dapp)にヒントがある。「Dapp」とはブロックチェーン「Ethereum」の上で稼働する分散アプリ「Decentralized Application」を指す。Dappは「Smart Contracts」とも呼ばれ、インテリジェントな契約機能を持つ。Beatdappのケースでは人間の介在無しに(人間がデータ集計でミスすることなく)Dappが契約(事前に設定されたルール)に基づき、音楽配信回数を正確にカウントする。

音楽産業の斜陽化

音楽産業は斜陽化の時代を抜けストリーミングで生まれ変わろうとしている。1980年代にCDが導入され音楽産業が大きく成長した。音楽がデジタルに記録され音質が上がり、1999年には売上金額がピークに達した。しかし、同年、P2Pファイル共用サービス「Napster」の登場で、デジタルに記録された音楽が不正にコピーされ、これ以降、音楽の売り上げが毎年低下することとなった(下のグラフ、Physicalの部分)。

出典: Financial Times  

音楽ダウンロードが転機になる

しかし2001年、AppleがiTunesを投入し、この流れが変わった。iTunesはメディアプレーヤーで音楽やビデオファイルをダウンロードして再生する。iTunes Storeで音楽ファイルを購入することで音楽の売り上げが少しずつ増えてきた(上のグラフ、Digital Downloadsの部分)。ついに、2013年には減少を続けてきた音楽収入が上昇に転じ、音楽産業は底を脱した。

ストリーミングが音楽産業を再生する

更に、この頃から音楽をダウンロードではなくストリーミングで聞く方式が人気となってきた(上のグラフ、Streamingの部分)。この先陣を切ったのはSpotifyで、著作権で管理された音楽を配信する事業を広げていった。2015年にはApple Musicがこの市場に参入し、音楽市場が一気に拡大した。この勢いでストリーミング事業が成長すると2026年には過去最大の売り上げを記録するとの予測もある。

ブロックチェーンはトライアルから実用段階へ

ブロックチェーンはBitcoinなど暗号通貨だけでなく、サプライチェインなどで適用が広がっている。ただ、多くの企業はブロックチェーンを試しに使ってみるだけで、これは「Blockchain Tourism(ブロックチェーン観光)」と揶揄されてきた。しかし、今年からブロックチェーンをアプリに組み込み基幹業務に適用するケースが増えてきた。ブロックチェーンはトライアルの段階を抜け実用段階に進んできた。技術の成熟度に敏感な新興企業はブロックチェーンを使ったアプリの開発を始め、今年はブロックチェーンが開花する予兆を感じた。

Libraショックが広がる、中国は対抗する暗号通貨を開発し年内の運用を目指す

FacebookのLibra(リブラ)が世界に衝撃を与えているが、各国の対応は分かれている。フランスとドイツはLibraを認めないとする共同声明を発表した。ユーロ圏内で統一してLibraを規制する方針を示した。一方、中国はLibraを規制するものの、対抗する暗号通貨の開発を急いでいる。この暗号通貨は数か月以内に運用が始まるといわれ、フィンテック市場でも中国が米国に対峙する形となる。

出典: People’s Bank of China

発表概要

中国の中央銀行にあたる中国人民銀行(People’s Bank of China)は、暗号通貨を開発しており、数か月以内に運用を始めることを明らかにした。同行のデジタル通貨研究所「Digital Currency Research Institute」の責任者Mu Changchunが明らかにし、上海証券報(Shanghai Securities News)が報道した。

暗号通貨とデジタルワレット

中国人民銀行が開発している暗号通貨はDC/EP(Digital Currency and Electronic Payment tool)と呼ばれる。DC/EPは流通している通貨をデジタルにしたもので、支払いツールとして機能する。専用のデジタルワレットをスマホにダウンロードしてDC/EPを利用する。

利用方法

支払いの際にはネットワークは不要で、スマホ同士をタッチするだけでトランザクションが完了する。通貨と同じくネットワーク環境が整っていない場所でも使える。ただ、スマホに近距離通信機構などが必要になると思われるがシステム要件については公表されていない。また、DC/EPは銀行口座を持たなくても使うことができる。ただし、DC/EPにお金をチャージする際は銀行口座とネットワーク環境が必要となる。

システム構成

DC/EPは二階層で運用される。中国人民銀行がDC/EPのコアシステムを運用し、ここに金融機関が加盟し、それぞれのシステムを運用するかたちとなる。7社が加盟する予定で、この中にはAlibaba、Tencent、UnionPayが含まれている。金融機関がシステムを運営する際には、ブロックチェインまたは従来の経理システムを使うことができるとしている。ブロックチェインを使わないケースではDC/EPは暗号通貨の定義から外れることになる。

中央銀行と金融機関の役割

DC/EPの運用は通貨の運用に類似しており、金融機関は中国人民銀行に口座を持ちDC/EPを購入する。利用者となる個人や企業は金融機関からDC/EPを購入し、それをデジタルワレットで使う。Libraと対比すると、中国人民銀行がLibra Associationに相当し、加盟している金融機関がFacebookなどに相当する。またデジタルワレットはCalibraのような機能を持つ。

国家が暗号通貨を運用する目的

中国では既にAlibabaやWeChat がデジタル通貨を運用しておりキャッシュレスの社会が出来上がっている。キャッシュレスの処理金額は59兆元(2019年第一四半期)で、Alipayがその1/2を、WeChat Payがその1/3を担っている。このような環境に暗号通貨を導入する狙いは、中国政府が通貨主権を守ることにある。また、民間企業が国家の通貨運用を担うと、会社が倒産した際に社会に与える影響が甚大となる。更に、仮にLibraが中国で普及すると、ドルやユーロや円に裏付けられたLibraが人民元(Renminbi)の価値を脅かすことになる。

出典: Alipay

Libraが開発を加速させた

中国人民銀行は2014年から専属の研究チームを設け暗号通貨の開発を進めてきた。その目的は、通貨の流通量を減らし運用コストを下げ、また、マネーサプライ政策を効率的に行うことであった。FacebookがLibraを発表したことでDC/EPの運用が早まった。Libraが中国の暗号通貨開発を加速させたことになる。

課題を抱えての船出

DC/EPが投入されると世界最大規模の暗号通貨エコシステムが構築されることになる。DC/EPはビットコインと異なり、価値が安定し、安全に利用できる。また、ビットコインのように匿名で使うことはできず、資金洗浄や人民元の海外への流出を防止できる。一方、DC/EPが銀行やAlibabaなどの事業にどう影響するのか見通せない部分も多い。また、キャッシュレスが普及している社会で本当にDC/EPが使われるのかも疑問視されている。様々な課題を抱えて中国人民銀行の暗号通貨プロジェクトが稼働することになる。

Apple Cardを1か月使ってみた、アップルがデザインするとクレジットカードがこんなにも魅力的になる

Appleは2019年3月、自社ブランドのクレジットカード「Apple Card」を発表し、8月から運用を開始した。早速、Apple Cardを試してみたが、使い易さとお洒落なデザインに感銘を受けた。毎日使っているクレジットカードだが、単に支払いツールとしてとらえているだけで、特別な思い入れはない。しかし、Apple Cardはその常識を破り、インターフェイスが洗練され、カードに親近感を感じる。クレジットカードは無機質なプラスチックからインテリジェントなアプリに進化した。

出典: VentureClef

Apple Cardの概要

Apple CardはiPhoneのおサイフ「Wallet」に登録して利用する(上の写真左側)。既に、クレジットカードなどを登録して使っているが、ここにApple Cardが加わった。Apple Cardにタッチすると初期画面が表示され、ここに買い物のサマリーが示される(上の写真右側)。Apple Cardは物理的なカードも発行しており、これはチタン製のお洒落なカードで「Titanium Apple Card」と呼ばれる。表面は銀色でカード番号などは印字されておらず、安全性を重視したデザインとなっている(下の写真)。手に持つと、プラスチックのカードとは違い、ずっしりと重い。

出典: VentureClef

Apple Payから利用する

Apple Cardはモバイル決済「Apple Pay」で利用するのが基本パターン。Apple Payに対応している店舗やアプリで利用する。使い方は従来と同じで、サイドボタンをダブルクリックし、Face IDなどで認証し、デバイスをリーダにかざす(下の写真)。アプリ内決済では認証が完了すると決済プロセスが起動される。

出典: Apple

Titanium Apple Cardを使う

Apple Payを使えないケースではTitanium Apple Cardを使う。Apple CardはMastercardのネットワークを使い、カードを発行する銀行はGoldman Sachsとなる(下の写真、カード裏面)。Appleブランドのインパクトが強いが、Titanium Apple Cardを使うときはMastercardを取り扱っている店舗となる。通常のカードと同じく、Titanium Apple Cardをリーダーに差し込んで使う。

出典: VentureClef

オンラインショッピングでは

Apple Payを取り扱っていないオンラインショッピングでApple Cardを使うときは手間がかかる。Apple Cardのカード番号を決済サイトに入力する必要があるからだ。カード番号を見るには、Apple Cardを起動して(下の写真左側)、「Card Information」のページを開く。ここに表示されるカード番号、有効期限、PINを参照し、それらをオンラインサイトの決済画面に入力する(下の写真右側)。いつもは、クレジットカードに印字されているこれらの情報を入力するが、Titanium Apple Cardにはカード番号は印字されていないし、セキュリティの観点から、この番号はApple Cardの番号とは異なる構造を取る。Apple Cardの番号は「Card Number」と呼ばれ、オンラインショッピングではこの番号を使う。

出典: VentureClef

購買履歴のサマリー

Apple Cardで買い物をすると、購買履歴は綺麗に整理されて表示される(下の写真左側)。買い物の一覧表が企業ロゴと一緒に示され分かりやすい。買い物の内容を確認する際は各アイテムにタッチすると、店舗名やその場所が画面に示される(下の写真中央)。また、購買アイテムをカテゴリーごとに表示する機能もあり、週ごとに購買金額とそのカテゴリーがグラフで示される(下の写真右側)。カテゴリーは色分けされ、黄色はショッピング、緑色は旅行、青色は交通費、紫色はサービス、赤色は医療などとなる。

出典: VentureClef

キャッシュバック

Apple Cardの魅力は買い物をするとキャッシュバックを受け取れること(下の写真左側)。キャッシュバックは月ごとではなく、買い物をした日に受け取れる(下の写真右側)。キャッシュバックは「Apple Cash」に振り込まれ、送金や買い物で使うことができる。Apple製品を買うと購買金額の3%のキャッシュバックを受ける。また、Apple Payで買い物をすると購買金額の2%を、Titanium Apple Cardで買い物をしたら1%のキャッシュバックを受ける。

出典: VentureClef

Apple Cardの印象

既に、Apple Payで他社のクレジットカードを使っているが、これに比べてApple Cardは圧倒的に温かみのあるデザインで、機能的にも優れている。買い物履歴が分かりやすく表示され、出費を管理しやすい。また、Apple Cardはカテゴリーごとの支払いを反映し、表面が虹色に変化する(下の写真)。今月はショッピング(黄色)や交通(青色)やサービス(紫色)などに支出したことが視覚的に分かる。また、キャッシュバックがApple Cashに溜まっていくのが見え、買い物の特典が実感できる。一方、Apple CardはAppleデバイスでしか使えないので、最近は常にiPhoneを携帯している。いつの間にか、Appleのエコシステムにロックインされた感はぬぐえない。

出典: VentureClef

Appleのフィンテック戦略

Apple CardはApple Payで使うことを前提に設計されている。このため世界のiPhone利用者9億人が潜在顧客となる。Appleはこの巨大なネットワークでフィンテック事業を展開し、Apple Cardのトランザクション量に応じて手数料を徴収する。ブランドもMastercardではなくApple Cardで、カード会社とAppleの位置関係が分かる。これからのクレジットカード事業はデザインや機能性が重要になり、IT企業がそれをけん引する流れが鮮明になってきた。

キャッシュレス市場動向

Facebookは安全な暗号通貨「Libra」を開発しており、政府関係機関の承認を得てこの運用を始める。Amazonは独自のクレジットカードを発行し、オンラインサイトの顧客に提供すると噂されている。GoogleはApple Payに対抗するモバイル決済事業「Google Pay」を展開している。GAFAがペイメント事業で存在感を高めており、金融機関との競合が一段と厳しくなってきた。

ベンチャーキャピタルの技術発表イベントに参加してみると、スタートアップのレベルが格段に向上

ベンチャーキャピタル「500 Startups」は生まれたてのスタートアップに出資し事業立ち上げを支援する。この種のベンチャーキャピタルはアクセラレータ(Accelerator)と呼ばれ、資金を投資するだけでなく、若い起業家に技術を事業に結び付けるプロセスを教育する。起業家は500 Startupsでプロトタイプを開発し、最後にそれを投資家の前で披露する。このイベントは「Demo Day」と呼ばれ、若い起業家が開発した旬のテクノロジーが勢ぞろいした(下の写真)。

出典: 500 Startups

500 Startupsとは

500 Startupsはサンフランシスコに拠点を置くアクセラレータで、起業家にシードファンディングを行ない、技術開発と事業化を支援する。500 Startupsは2010年に創設され、今年で9周年を迎え、ポートフォリオが拡大している。今までに、74か国の2200社に投資し、3000人の起業家が巣立った。Y Combinatorと並びシリコンバレーを代表するアクセラレータで、ここから次のElon Muskの登場が期待されている(下の写真、オフィス内の様子、新興企業は長テーブルで隣り合って技術を開発)。

出典: VentureClef

Demo Day開催

Demo Dayは起業家が開発した製品プロトタイプをベンチャーキャピタリストの前でデモするイベントで、技術開発の締めくくりとなり、アクセラレータ卒業試験の色合いもある。起業家はプロトタイプを3分程度でピッチし、ベンチャーキャピタルから次のフェイズの投資を引き出す。Demo Dayは2019年8月、サンフランシスコのカンファレンス施設「Bespoke」で開催され、会場は立見席も一杯になる盛況で技術発表が進んだ(下の写真)。

Batch 25のデモ

Demo Dayは年間二回開催され、今回のイベントは通算で25回目となり、そのメンバーは「Batch 25」と呼ばれる。定期的にDemo Dayをフォローしているが、今回の特徴は新興企業のレベルが大きく向上したことにある。デモされる技術は完成度が高く、ビジネスに直結するものが多いとの印象を持った。また、新興企業はインターナショナルで米国以外の企業が3割を占めた。更に、女性ファウンダーが目立ち、スタートアップは男性の領域という考え方は崩れつつある。また、技術分野ではAIを使ったプロトタイプが多く、AI人気の高さを裏付けている。

出典: VentureClef

Visionfulという企業

イベントで一番目立ったのが「Visionful」という新興企業だ。Visionfulはサンディエゴに拠点を置き「Autonomous Parking」を開発している。これは自動運転車からヒントを得たソリューションで、AIが駐車場の維持管理を自動運転する。駐車場に設置したカメラの画像をAIが解析し、停められたクルマのIDを把握し、駐車許可証を持っていないクルマがあれば管理者にアラートを発信する。また、これらのデータを解析し駐車場の込み具合を予測する。

ドライバー向け機能

Visionfulはドライバー向けにもソリューションを提供する。ドライバーは専用アプリで近隣の駐車場の空き状況をみることができる。スマホアプリに駐車許可証の種類ごとに空きスロットの数を示す。例えば、一般向け駐車ゾーンの空き状況は39%で、5台分の空きスペースがあるなどと表示される。ドライバーは空きスポットを探して走り回る必要はなく、アプリが示すゾーンに直行してクルマを止める。

管理者向け機能

駐車場管理者向けには駐車場運用状況をリアルタイムで表示する(下の写真)。駐車許可証の種類ごとに込み具合を示し、「B Permit」のエリアでは「80台のスペースに61台駐車」しているなどと表示される。また、駐車許可証を持っていないクルマや制限時間を超えて駐車しているクルマを検知しアラートを発信する。駐車場管理者はこれに従い現場に出向きチケット発行などの措置を取る。

出典: Visionful

カメラとニューラルネットワーク

このシステムの背後でコンピュータビジョンが使われている。駐車場に設置されたカメラの映像をニューラルネットワーク(Convolutional Neural Network)で解析し、駐車スポットを把握(parking space classification)する。更に、スポットにクルマが駐車されていることを認識し、そのナンバープレートを読む(license plate recognition)。そして、登録車両データベースでナンバープレートをキーに検索し、駐車許可証の種類を把握する。駐車許可証を有しているクルマは緑色で、許可なく駐車しているクルマは赤色で表示される(下の写真)。

出典: Visionful

Edge IoT構成

駐車場にはカメラ「Visionful Edge」が設置される(下の写真、ポールに設置された白色のデバイス)。Visionful Edgeは360度の範囲を撮影できるカメラとプロセッサから構成される。プロセッサはGPUを搭載し、撮影したイメージをニューラルネットワークで解析する。解析したデータは携帯電話回線でクラウドに送信される。これはEdge IoT構成で、デバイス上でAIが画像を解析するので、クラウドへの送信データ量が大幅に低下する。Visionfulは既にカリフォルニア大学サンディエゴ校のキャンパスに導入され実証試験が始まっている。

出典: Visionful

ベンチャーキャピタルの戦略

Visionfulが示すように、Demo Dayに登場した新興企業は確実に進化しており、事業に結び付くプロトタイプの発表が多かった。投資家の視点からは、いかに早い段階で優秀な起業家を掘り出すかの競争が激化している。Y Combinatorや500 Startupsは早い段階で数多くの新興企業に出資し、その多くは失敗するものの、ここから有望な新人の掘り起こしに注力している。ただ、このステージの投資はアクセラレータの独壇場ではなく、今では大手ベンチャーキャピタルも早い段階での投資を始め、次世代を担う技術を探している。投資家たちは競い合って次に来る大きな波を掴もうとしている。

AIで音楽を作曲してみると、アルゴリズムが感動的なオリジナルミュージックを生成

人気歌手Taryn SouthernはAIで作曲した音楽を発表し話題となっている。AIが作曲した音楽にSouthernが歌詞を付け歌っている(下の写真)。実は、我々が聴いている音楽の多くはAIが作曲している。実際に、AIで作曲してみたが、簡単に感動的な音楽を生成することができた。ビジネスで使える高品質な音楽で、AIミュージックの進化を肌で感じた。

出典: Taryn Southern

Amper Scoreをトライアル

作曲で使ったAIは「Amper Score」で、ニューヨークに拠点を置くベンチャー企業「Amper Music」が開発した。Amper ScoreはAI作曲プラットフォームでクラウドとして提供される。音楽のスタイルやムードを指定するとAmper Scoreがそれに沿った音楽を生成する。プロ歌手が使うだけでなく、ビデオの背景音楽を生成する利用方法が広がっている。メディア企業は映像にマッチする音楽をAmper Scoreで生成する。

Amper Scoreの使い方

Amper Scoreは設定に沿った音楽をアルゴリズムが生成する。音楽のスタイル、情景、ムードなど指定すると、これに沿ったサンプル音楽が生成される。例えば、音楽のスタイルを「Cinematic」に、情景を「Ambient」に、ムードを「Confident」と指定すると、「Soap Opera Drama」という音楽が生成された(下の写真)。お昼のメロドラマの背景音楽にピッタリの甘くて危険な感じのする曲が生成された。

出典: VentureClef / Amper Music

楽器の設定など

生成された音楽をそのまま使うこともできるが、更に、演奏する楽器などを設定することができる。ここでは背景音、ギター、パーカッション、弦楽器などを指定できる。弦楽器ではバイオリン、ビオラ、チェロなどを指定でき、更に、それらの音質を指定できる(下の写真)。「Robust」と指定すると歯切れのいい音に、「Sweet」とすると柔らかい音になる。

出典: VentureClef / Amper Music

全体の構成など

事前に音楽の構成として、全体の長さ、イントロ(Intro)、メインテーマ (Climax)、エンディング(Outro)の長さを指定しておく。設定が完了し再生ボタンを押すと、AIが生成した音楽を聴くことができる。出来栄えを把握し、必要に応じて設定を変更し、求めているイメージに合った音楽に仕上げていく。

プロモーションビデオ

実際に上述の手順でサンフランシスコの観光案内ビデオをAmper Scoreで作成した(下の写真)。Union Squareをケーブルカーが走るビデオをアップロードし、設定画面で「Hip Hop」スタイルと「Heroic」ムードを選択。これだけの操作で、テンポのいいリズムに合わせ弦楽器がスタンドプレーする華やかな音楽ができた。更に、バイオリンやハイハットなどの音色を調整し10分程度でプロモーションビデオが完成した。商用コマーシャルとして使える高品質な出来栄えとなった。

出典: VentureClef / Amper Music

大手企業で利用が始まる

AIで音楽を生成する手法は大企業で採用が進んでいる。大手ニュース配信会社Reutersはコンテンツ生成プラットフォーム「Reuters Connect」を発表した。これはニュースコンテンツの販売サイトで、世界のジャーナリストはここでビデオを購入し、それを編集し、自社の記事で利用する。Reuters ConnectでAmper Scoreが使われており、利用企業はこのサイトでニュース映像にマッチする音楽を生成する。

AIが音楽産業を変える

AIミュージックの技術進歩は激しく、このペースで進化するとアルゴリズムが人間の作曲家の技量を上回る時代が来るのは間違いない。トップチャートの20%から30%はAIが作曲するとの予測もある。一方、AIが生成する音楽はフェイクミュージックで、人間が創り出した音楽の模倣で、創造性は認められないという意見も少なくない。議論は分かれるが、メディア産業はAIによりその構造が激変している。

AIが音楽を生成する仕組み】

GoogleのAI音楽プロジェクト

音楽生成と自然言語解析はメカニズムがよく似ており背後で稼働するニューラルネットワークは同じものが使われる。Googleは音楽を生成するAI技法「Music Transformer」を開発した。Music Transformerは文字通り「Transformer」という高度なニューラルネットワークで音楽を生成する。

AIが音楽を生成するメカニズム

Transformerは自然言語解析で使われ、入力された文章に続く言葉を推測する機能を持つ。Transformerは機械翻訳で威力を発揮し「Google Translate」の背後で稼働している。Music Transformerはこの仕組みを音楽に応用したもので、アルゴリズムが次の音を予測する。つまり、AIが音楽を生成するとはTransferが音を読み込み、それに続く音を予測する処理に他ならない。

作曲を可視化すると

実際に、AIが音楽を生成する過程(下のグラフィックス)を見るとMusic Transformerの機能を理解しやすい。音楽は左から順に生成され、ピンクの縦軸がMusic Transformerが音を生成している個所を指す。その左側の黒色のバーは生成された音楽で、円弧はMusic Transformerとの依存関係を示している。Music Transformerは特定のHidden State(円弧がポイントする部分)を参照し音を生成する。つまり、Music Transformerは直近に生成した音だけでなく、遠い過去に生成した音を参照して音楽を生成していることが分かる。

出典: Cheng-Zhi Anna Huang et al.

作曲が難しい理由とMusic Transformerの成果

音楽を生成するのが難しい理由は、音楽は異なるスケールの時間軸で構成されているため。音はすぐ前の音と繋がりを持ち(モチーフの繰り返しなど)、また、遠い過去の音との繋がりを持つ(複数小節の繰り返しなど)。従来手法(Recurrent Neural Networkを使う手法)は長期依存の機能は無く(遠い過去の音は参照できない)、最初に登場するモチーフは繰り返されない。これに対し、Music Transformerは短期と長期の依存があり、最初に登場するモチーフを繰り返し、ここから独自に音楽を展開できるため、高品質な音楽が生成される。上述のTaryn SouthernはAmper ScoreやGoogle Music Transformerを使って作曲している。新世代の歌手は芸術性だけでなくデータサイエンティストとしての技量も求められる。