AIの実力が高く評価されDeep Learningを応用したシステムが社会に広がっている。同時に、AIの問題点が顕著になってきた。AIは統計学の手法で入力されたデータから特徴量を高精度で検出する。メディカルイメージからガンの兆候を医師より正確に検知する。しかし、AIはなぜ癌細胞と判断したのか、その理由を語らない。

自動運転車は人間より遥かに安全に走行するが、その運転テクニックは開発者ではなくAIだけが知っている。我々はAIを信用できるのかという大きな課題に直面している。AIに生命を託すことができるのかの議論が起こっている。疑問に対する答えはAIの内部にある。AIのブラックボックスを開けて、そのロジックを解明しようとする研究が始まった。

出典: Xiaolin Wu, Xi Zhang

顔の特徴で犯罪者を特定

AIが抱える本質的な課題が様々な形で露呈している。中国のAI研究者は顔の特徴で犯罪者を特定する技法を発表した。これはShanghai Jiao Tong University (上海交通大学) で研究されたもので、「Automated Inference on Criminality using Face Images」として公開された。この論文によるとアルゴリズムは89%の精度で犯罪者を特定できる。つまり、顔写真をこのアルゴリズムに入力すると、この人物は犯罪者かどうかが分かる。

犯罪者には三つの特徴がある

この研究ではDeep Learningなど顔を認識するAI技術が使われた。アルゴリズムを教育するために、男性の顔写真1856人分が使われ、そのうち730人は犯罪者である。また、この論文は犯罪者の顔の特性についても言及している (上の写真)。犯罪者には三つの特徴があり、一つは上唇のカーブが普通の人に比べ急なこと (上の写真右側、ρの分部)。また、両目の間隔が狭く、鼻と口元でつくられる角度が狭いことをあげている (上の写真右側、dとθの分部)。但し、この論文は公開されたばかりでピアレビュー (専門家による評価) は終わっていない。

背後にロジックがない

いまこの論文が議論を呼んでいる。人物の挙動から犯罪者を特定する手法は監視カメラなどで使われている。しかし、顔の特性から犯罪者を特定するAIは信頼できるのかという疑問が寄せられている。AIは学習データをもとに統計処理するが、顔の形状と犯罪者を結び付けるロジックはない。仮にこのAIが犯罪捜査で使われると、一般市民は理由が分からないまま容疑者とされる恐れもある。Deep Learningが社会問題となる火種が随所で生まれている。

GoogleのAIが女性を差別

世界の最先端のAI技術を持つGoogleだが、AIに起因する問題点を指摘されている。YouTubeは聴覚障害者のためにキャプションを表示する機能がある (下の写真)。キャプションは発言を文字に置き換えるたもので、Googleの音声認識技術が使われる。その際に、男性が話す言葉と女性が話す言葉でキャプションの精度は異なるのか、調査が実施された。(National Science Foundation (アメリカ国立科学財団) のRachael Tatmanによる研究。)

出典: YouTube

YouTubeは女性の声を正しく認識しない

その結果、YouTubeは男性の声を女性の声より正しく認識することが判明した。具体的には、音声認識精度は男性の声だと60%で、女性だと47%に下がる。つまり、女性は音声認識精度において差別を受けていることが分かった。この差がなぜ生まれるかについては、システムを詳しく検証する必要がある。しかし、Tatmanは教育データセットが男性にバイアスしているのではと推測する。音声サンプルは均等ではなく男性に偏っていることを意味する。AIの性能は教育データの品質に敏感に左右される。AIによる女性差別や人種差別が顕在化しているが、学習データが公正であることが問われている。

AIが乳がんを判定する

AIの中心技法であるDeep Learningは乳がん検査の判定で成果を上げている。検体のイメージをDeep Learningのネットワークに入力すると、AIはがんを発症する組織を高精度に検出する。今ではAIの検知精度が人間を上回り、多くの病院でこのシステムの採用が始まった。同時に、健康に見える組織がAIによりがん発症の可能性が高いと判定されたとき、医師と被験者はどう対応すべきかが議論になっている。AIの判定を信頼し、手術を行うかどうかの判断を迫られる。

AIはその理由を説明できない

遺伝子検査でも同様な問題が議論されている。乳がん発症を促進する遺伝子変異「BRCA」が検出されたとき、手術に踏み切るかどうかが問題となる。女優Angelina Jolieは「BRCA1」キャリアで手術を受けたことを公表した。しかし、AI検診のケースはこれとは異なる。AIは統計的手法で乳がんと判断するが、その組織が何故がんを発症するのかは説明できない。AIは時に人工無能と揶揄されるが、科学的根拠のない判定をどう解釈すべきか医学的な検証が始まっている。

銀行は与信審査でAIを使う

銀行やフィンテックベンチャーはローン審査でDeep Learningを使い始めた。ローン応募者のデータをアルゴリズムに入力すると瞬時にリスクを査定できる。高精度に短時間でローン審査ができることから、この手法が注目を集めている。一方、米国では州政府の多くは銀行にローン申し込みで不合格になった人にその理由を説明をすることを義務付けている。

応募者に十分な説明ができない

しかし、Deep Learningはブラックボックスで、銀行は応募者に十分な説明ができない。更に、ローン審査の基準を変えるときは、学習データを使ってアルゴリズムを再教育することとなる。ソフトウェアのロジックを変更するようにはいかず、大量のデータを読み込んでDeep Learningのパラメータを再設定する。金融業界でAIを導入することの是非が議論されている。

出典: Mahmood Sharif et al.

AIは眼鏡で騙される

Carnegie Mellon UniversityのMahmood Sharifらは、眼鏡で顔認証システムが誤作動することを突き止めた。これは「Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition」として公開された。フレームの幅が少し広い眼鏡 (上の写真(a)の列) をかけると、システムはこれらの写真を顔として認識できない。つまり、街中に設置されている防犯カメラの監視システムをかいくぐることができる。

眼鏡で別人に成りすます

また、フレームのプリントパターンを変えると、顔認識システムは別の人物と間違って認識する。上の写真(b)から(d)の列がその事例で、上段の人物が眼鏡をかけることで、顔認識システムは下段の人物と誤認識する。(b)のケースでは、上段の男性が眼鏡をかけるとシステムは米国の女優Milla Jovovichと誤認した。顔認識システムはDeep Learningの手法で顔の特徴を把握するが、この事例から、目元のイメージが判定で使われていると推定できる。しかし、AIが実際にどういうロジックで顔認証をしているかは謎のままである。これが解明されない限り、顔認証システムを不正にすり抜ける犯罪を防ぐことはできない。

ニューラルネットワークと脳の類似性

AIの基礎をなすNeural Network (下の写真) でイメージを判定する時は、写真とそのタグ (名前などの種別) をネットワークに入力し、出力が正しく種別を判定できるよう教育する。教育過程ではネットワーク各層 (下の写真、縦方向の円の並び) 間の接続強度 (Weight) を調整する。この教育過程は脳が学習するとき、ニューロンの接続強度を調整する動きに似ているといわれる。

出典: Neural Networks and Deep Learning

ネットワークの中に分散して情報を格納

学習で得た接続強度は各ニューロン (上の写真の白丸の分部) に格納される。つまり、Neural Networkが学習するメカニズムの特徴はネットワークの中に分散して学習データを格納することにある。プログラムのようにデータを一か所に纏めて格納する訳ではない。人間の脳も同じメカニズムである。脳が電話番号を覚えるときには、最初の番号は多数のシナプスの中に散在して格納される。二番目の番号も同様に散在して格納されるが、一番目の番号と近い位置に格納されるといわれる。人間の脳を模したNeural Networkはデータ格納でも同じ方式となる。

知識がネットワークに焼き付いている

問題はこの格納メカニズムが解明されていないことにある。脳の構造を模したNeural Networkも同様に、情報が格納されるメカニズムの解明が進んでいない。Deep Learningの問題点を凝縮すると、知識がネットワークに焼き付いていることに起因する。ニューロンの数は数千万個に及び、ここに知識が散在して格納されている。知識はシステムを開発した人間ではなく、ネットワークが習得することが問題の本質となる。

自動運転車のアルゴリズム

Carnegie Mellon Universityは1990年代から自動運転技術の基礎研究を進めていた (下の写真はその当時の自動運転車)。当時、研究員であったDean Pomerleauは、カメラで捉えた映像で自動運転アルゴリズムを教育した。走行試験では、数分間アルゴリズムを教育し、その後でクルマを自動走行させる試験を繰り返した。試験はうまく進んだが、橋に近づいたときクルマは道路からそれる動きをした。しかし、アルゴリズムはブラックボックスでPomerleauはその原因が分からなかった。

出典: Dean Pomerleau et al.

試験を繰り返し問題点を特定

ソフトウェアをデバッグする要領でロジックを修正することができない。このためPomerleauは路上試験を繰り返すことで問題点を解明した。様々な状況で自動運転を繰り返し、経験的に問題点を突き止めた。それによると、クルマは路肩の外側に生えている草の部分を基準にして走行路を判定していることが分かった。橋に近づくと草の部分がなくなり、クルマは判断基準を失い、正常に走行できなくなる。自動運転技術をAIで実装するとクルマが正しく動くのか確信が持てなくなる。

大規模な走行試験で安全性確認

現在でも同じ問題を抱えている。自動運転車は無人で公道を走ることになるが、我々はAI技術を信用していいのかが問われている。AIの運転ロジックが分からない中、どう安全基準を作ればいいのか試行錯誤が続いている。その一つに、定められた距離を無事故で走行できれば安全とみなすという考え方がある。シンクタンクRand Corpによると、人間がクルマを1億マイル運転すると死亡事故は1.09回発生する。自動運転車が人間と同じくらい安全であることを証明するためには2.75億マイルを無事故で走る必要がある。人間レベルの安全性を証明するためには大規模な走行試験が必要となる。自動運転車の安全基準を設定する作業は難航している。

Deep Learningを使った運転技術

この問題を技術的に解明しようとする動きも始まった。NvidiaはDeep Learningを使った運転技術を開発している。自動運転システムは「DAVE-2」と呼ばれ、Neural Networkで構成される。人間がアルゴリズムに走行ルールを教えるのではなく、システムはNeural Networkで画像を処理し安全な経路を把握する。システムはカーブしている道路のイメージを読むと、そこから運転に必要な道路の特徴を把握する。

AIがルールを学習する

NvidiaはAIがどういう基準で意思決定しているのかの研究を進めている。今までブラックボックスであったAIの中身を解明する試みだ。下の写真が研究成果の一端で、AIが道路をどう理解しているかを示している。上段はカメラが捉えた画像で、下段はCNN (画像認識するNeural Network) がこれを読み込み、そこから道路の特徴を示している。特徴量は曲線が殆どで、CNNは道路の境界部分を目安に運転していることが分かる。この画面からAIが習得したドライブテクニックを人間がビジュアルに理解できる。

出典: Nvidia

2017年はAIロジックの解明が進む年

自動運転車を含む自立系システムはDeep Reinforcement Learning (深層強化学習) という手法を使い、アルゴリズムが試行錯誤を繰り返してポリシーを学習する。この技法は囲碁チャンピオンを破ったGoogle AlphaGoでも使われている。Deep Reinforcement Learningの中身もブラックボックスで、これからこの解明も進むことになる。AIは目覚ましい成果を上げ世界を変え続けるが、2017年はAIのブラックボックスを開けそのロジックの解明が進む年となる。