マシンが人間の感情を理解してヒューマンタッチな振る舞いをする。マシンが話し言葉からその場の空気を読むことができる。いまマシンと人間の関係が変わろうとしている。人間の感情を理解するAIが登場している。マシンとの信頼関係が生まれる日もそう遠くはない。

出典: White House

人の声を解析して感情や特質を抽出

人間の声はコンテンツを伝えるだけでなく、その人の心情を映し出す。会話で伝達される情報の多くは声のトーンや顔の表情や体の動きにある。イスラエルに拠点を置くベンチャー企業「Beyond Verbal」は、人の声を解析して感情や特質を抽出する技術を開発している。この技法は「Emotions Analytics (感情解析)」と呼ばれ、マーケットリサーチに応用されている。また、声から病気を診断する研究で大きな成果が報告されている。これらの研究は人間のように振る舞うマシンに繋がると期待されている。

オバマ大統領の広島スピーチ

この技術を我々も使うことができる。Beyond Verbalはスマホ向けのアプリ「Moodies」をリリースした。このアプリはEmotions Analyticsの技法を実装している。アプリに向かって喋ると、声のトーンを解析しそこに含まれる感情を抽出する。このアプリでオバマ大統領の演説を解析してみた。これは広島平和公園でのスピーチで、最初の3分間をアプリに入力した。「Seventy-one years ago, on a bright cloudless morning, death fell from the sky and the world was changed…」で始まる演説で、重々しい口調で進行する (上の写真)。

アプリで大統領の心情を読む

戦争の悲惨さを訴える演説であるが、アプリの解析は異なる見解を示した。オバマ大統領の心情は、冒頭の部分は「Motivation (鼓舞)」と判定した (下の写真、左側)。聴衆を動機づける演説であり、同時に、問題に対する解を模索していると解釈した。演説のトーンは時間ごとに変わり、このほかに「Dominance (威厳)」や「Hope(希望)」や「Friendliness(親しみ)」などの評価が続く (下の写真、右側のグラフが心情の変化を表す)。

出典: VentureClef

高揚感と失望感が交錯

総合評価として、解を求めて進む点が心情的にポジティブと評価された (上のグラフの緑色の分部)。一方、希望を伝えようとするが現実は異なると感じている点が感情的に落ち込んでいると評価された (上のグラフで谷の分部)。我々には重く苦渋に満ちた演説と聞こえたが、オバマ大統領の心中は、世界に平和を呼びかける高揚した気持ちと、プラハ宣言以来進まない核兵器廃絶への挫折感が交錯したものになっていたことが分かる。

トランプ大統領候補者の演説を分析

Beyond VerbalはEmotions Analyticsを使って大統領選候補者Donald Trumpの演説を分析した結果を公開した。これは公開討論会でFox NewsのMagen KellyがTrumpに質問する形式で進められた (下の写真)。Emotions Analyticsの解析によると、この演説は「Charisma(カリスマ)」で「Creativity(クリエイティブ)」で「Playfulness(遊び心に富む)」と評価された (写真最下部のキャプション)。

この討論会をテレビで見ていたが、Trumpの発言はとても面白く、聴衆を惹きつける魅力を持っていると感じた。Emotions Analyticsでの解析結果の通り、機知に富み遊び心が豊かで、エンターテイナーとしての偉大な能力を感じた。しかし、発言の内容は不適切な言葉遣いや偏った解釈も多く、政治家としてのTrumpの評価は必ずしも高くはない。政治的な手腕については疑問視されるものの、Beyond VerbalはTrump人気の秘密は言葉の情緒的な面にあると指摘する。

出典: Beyond Verbal

自分の心情を正しく理解できない

このアプリは日常生活で健康管理のツールとして利用できる。自分の感情を正しく理解するのは極めて難しいと感じることが多い。筆者は電話での会話などをアプリで解析し、その時の心情がどうであったかを把握している。自分では活気に満ちた話し方をしたと思っていたが、アプリで計測すると「Loneliness (寂しい)」や「Unhappy (楽しくない)」と判定されたことも少なくない。自分が思っている心持と、実際の評価が異なることに驚いた。

健康管理に利用できる

元気のない時は少し大きめの声で音程を揚げて話すように努めてきた。しかし、アプリで分析するとこの作戦は全く通用しないことが分かった。心情は声の大きさや音程とは相関関係がなく、このような小手先の技で相手を欺くことはできない。元気のな時は抜本的な対策が必要と感じる。これは人により異なるが、筆者の場合は好きな音楽を聴いた後はアプリの判定はポジティブとなることが多い。声から自分の心理状態を判断することで、健康な生活を送る手がかりをつかめる。

マーケットリサーチで利用されている

Beyond Verbalは企業向けのソリューションを提供しており、マーケットリサーチなどで活用されている。企業が商品のブランドやデザインについて調査する際にEmotions Analyticsを利用する。また、広告効果を検証する際にも利用されている。被験者に対象物に関する情緒的な質問をして、その回答を録音する。この音声をEmotions Analyticsで解析し、被験者の対象物に対する評価を査定する。解析するのは言葉の意味ではなく、音声に含まれている感情を読み取る。人間が発する言葉は真実と異なることが多々あるが、音声に含まれるシグナルは嘘をつかない。

病気の判定で効果を上げる

この技法は医療分野で成果を上げている。Beyond VerbalはMayo ClinicやScrippsなど米国の先端医療機関と共同研究を展開している。最新研究によると、声は感情を含むだけでなく、健康状態を内包することが分かった。被験者の声が心臓疾患に関連するシグナルを含んでいることが判明した。音声シグナルが心臓疾患のバイオマーカーになり、音声を録音するだけで病気を判定できる。これに先立ち、音声は自閉症やパーキンソン病と関連性があることも解明されている。また、音声とうつ病やディスレキシア (難読症) との関係も解明されている。我々が喋る言葉は健康を映し出す鏡でもある。

Appleの臨床試験プラットフォーム

音声と疾患の関係を医学的に解明したのはBeyond Verbalが初となる。いまスマートフォンやウェアラブルで病気を診断をする技術が登場している。Appleは臨床試験のためのプラットフォーム「ResearchKit」を提供している。医療機関はこのプラットフォームを利用して短時間で大規模な臨床試験を実施できる。臨床試験に参加する被験者はResearchKitで提供されるアプリで簡単な試験を行う。

パーキンソン病の臨床試験アプリ

パーキンソン病に関する臨床試験アプリ「mPower」が注目されている (下の写真)。これは非営利団体「Sage Bionetworks」により開発され、被験者はこのアプリをiPhoneで利用する。アプリの指示に沿って操作すると、パーキンソン病を判定できる。三つの操作を指示され、被験者は指でボタンをタップし、マイクにあ～と発声し、また、記憶力を試す問題に答える。被験者の試験結果を集約することで、大規模なパーキンソン病の臨床試験を展開できる。

出典: Sage Bionetworks

マシンに感情を理解させる

Beyond Verbalの最終目標はマシンに人間の感情を理解させることにある。今のマシンは人間の感情を理解することができなく、Emotional Blindといわれる。Beyond Verbalの目的はマシンが感情のレベルで人間とコミュニケーションすることにある。このためには、マシンが人間の感情をリアルタイムで把握することが必要となる。この情報をマシンにフィードバックすることで、マシンは利用者の感情に沿った対応ができる。

Apple Siriが感情を理解すると

Apple Siriに「What am I doing?」と質問すると「Interesting question」と受け流される。もしSiriが感情を理解すると、人間のような反応が期待できる。仕事が忙しく疲れていると把握すると、Siriは「少し休憩してお茶を飲みましょう」と提案する。落ち込んでいる時はSiriが好きな曲を再生してくれるのかもしれない。Siriだけでなく、Amazon EchoやGoogle Homeも声に含まれている感情を理解し、ヒューマンタッチな機能を開発しているのは間違いない。Beyond Verbalの技術が感情を理解するマシンの基礎となる。