今年のAI研究の重要テーマは高度なニューラルネットワークの開発で、多くの研究者が理想のアーキテクチャーを模索している。米国国立研究所はこのプロセスをAIで実施し、大きな成果を上げた。AIが高精度なニューラルネットワークを生成し、これを物理学の研究に応用する。ニューラルネットワーク生成には大規模な演算が必要となり、スーパーコンピューターがなくては研究が進まない。GoogleもAIがAIを生成する研究を急いでいる。これはAutoMLと呼ばれ、AIが特定処理に最適化されたニューラルネットワークを生成する。今年は官民ともAIアーキテクチャー研究がホットなテーマになる。

出典: Oak Ridge National Laboratory

AIスパコンを運用

オークリッジ国立研究所 (Oak Ridge National Laboratory) は米国エネルギー省配下の機関で、世界最大クラスのスパコン「Titan」を運用している (上の写真)。TitanはCray社が開発したスパコンで、18,688のノードをから構成される並列マシンである。各ノードはCPU (AMD Opteron) とGPU (NVIDIA Kepler) を搭載し、世界最大規模のAIスパコンである。Titanで高度なニューラルネットワーク (Neural Network) が開発され、これを使って物質科学や素粒子物理学の研究が進められている。

商用のニューラルネットワークは使えない

ニューラルネットワークは画像認識や音声認識に最適なアルゴリズムで社会に幅広く浸透している。オークリッジ国立研究所の研究者もこのネットワークを使い科学の謎の解明を目指してきた。しかし、商用のニューラルネットワークを基礎研究に流用しても大きな成果は得られない。この理由は科学研究で扱うデータの特殊性による。また、教育に使えるデータの数が限られていることも大きな要因である。このため、科学研究向けの専用ニューラルネットワークを開発する必要に迫られた。

ハイパーパラメータを最適化する

このため研究者は科学分野向けに最適なニューラルネットワークの開発を進めてきた。特定のデータセットに対して、最適なニューラルネットワークが存在するという前提で、そのアーキテクチャを探求してきた。この研究は「Hyper-Parameter」を最適化するという問題に帰着する。Hyper-Parameterとはニューラルネットワークの基本モデルを指し、各層の種類、それらの順番、ネットワークの段数などで、これらを組み合わせネットワークを最適化する。

研究者が手作業ですすめる

Hyper-Parameterの最適化は、研究者が既存のDeep Learningソフトウェア (Caffe、Torch、Theanoなど) を使い、手作業で実施される。具体的には、標準ソフトウェアを改造し、各層の種類や順番、ネットワーク段数など、ネットワークのトポロジーを決める。次に、生成したニューラルネットワークを教育し、その性能を検証する。このプロセスを何回も繰り返し最適なニューラルネットワークの形を得る。ネットワークの形態を決める常套手段は無く、研究者が経験と勘を頼りに作業を進める。このため、新しいニューラルネットワークを生成するには数か月かかるとされる。

AIがAIを開発する

オークリッジ国立研究所はこのプロセスをAIで構築し、これをスパコンで実行することで大きな成果を上げた。研究者が手作業でネットワークを生成するのではなく、特定の研究に最適化されたニューラルネットワークをAIが生成する。AIが研究の目的に合ったAIを開発する。これにより、ニューラルネットワークを数時間で生成することに成功し、ニュートリノ (Neutrino) 研究に大きく貢献している。

出典: Oak Ridge National Laboratory

生物が進化する方式を模したアルゴリズム

ニューラルネットワークを生成するAIはMENNDL (Multinode Evolutionary Neural Networks for Deep Learning) と呼ばれている。MENNDLは、最初に、特定データセット (例えばニュートリノ実験データ) の処理に特化したニューラルネットワークを生成する。次に、MENNDLは生成したニューラルネットワークを教育し、その性能を評価する。これに基づき、MENNDLはネットワーク構造を進化させ (上の写真) 性能を向上させる。このプロセスを繰り返し実行し、高度なニューラルネットワークを生成する。この手法は生物のDNAが配合や変異を繰り返し進化する方式を模しており「Evolutionary Algorithm」と呼ばれる。

システム構成

MENDDLはTitanのノードを使って実行される。Master Nodeで進化のプロセスを実行し、生成されたネットワークはWorker Nodeで実行される (下の写真)。Worker Nodeは生成されたネットワークを教育し、その性能を査定する。ネットワークとしてはCaffeを使用し、Worker Nodeで大規模並列に実行する。Master NodeとWorker Node間の通信はMessage Passing Interfaceというプロトコールが使われる。

出典: Oak Ridge National Laboratory

ミトコンドリアを探す

MENDDLで生成されたニューラルネットワークは医療分野で使われている。St. Jude Children’s Research Hospitalは3D電子顕微鏡 (3D Electron Microscope) で撮影したイメージからミトコンドリア (Mitochondria) を特定するニューラルネットワークを生成した。ミトコンドリアは目立つものの、存在場所が様々で、形や大きさが異なり人間が特定するのは難しい。このためMENDDLを使いミトコンドリアを特定するための専用ニューラルネットワークを生成した。

ニュートリノの相互作用を特定

米国フェルミ研究所 (Fermi National Accelerator Laboratory) はMENDDLを使いニュートリノ検知のための専用ニューラルネットワークを生成した。ニュートリノは素粒子の中でフェルミ粒子 (Fermion) に属し、質量は極めて小さく、他の粒子との相互作用が殆どなく、透過性が高く、その検知は非常に難しい。ニュートリノ研究は初期宇宙の解明や物質の仕組みの解明につながるとされ、各国で研究が進んでいる。(日本のスーパーカミオカンデは宇宙から飛来するニュートリノを観測する施設として世界的に有名。)

出典: Fermi National Accelerator Laboratory

ニュートリノ観測専用ニューラルネットワーク

米国でフェルミ研究所が観測装置 (上の写真) を開発し、ニュートリノを大量に生成し、その相互作用を探求している。ニューラルネットワークはニュートリノ検知に特化した構造となっている。ネットワークは観測した写真を解析し、ニュートリノが装置の中のどこで相互作用を起こしたかを正確に特定する。写真には他の粒子によりる相互作用が数多く記録されるため、汎用的なニューラルネットワークではニュートリノを選び出すことが難しい。これにより稀にしか起こらないニュートリノの相互作用を高精度で特定できることとなった。

AIスパコンが研究を支える

MENDDLは50万種類のニューラルネットワークを生成し、それらを教育し性能を評価した。教育データとしてニュートリノ相互作用を記録したイメージ80万枚が使われた。この中から最も判定精度の高いニューラルネットワークが選ばれ実験で使われている。これら一連のプロセスがTitanの18,688個のノードで高並列に実行された。AIスパコンの導入によりこの研究が可能となった。

Googleでも研究が進む

GoogleもAIがAIを生成する技術の開発を急いでいる。これは「AutoML」と呼ばれ、ニューラルネットワークを自動生成する技法である。アルゴリズムが別のアルゴリズムを生成する技法で、AI基礎研究で重要なテーマと位置づけている。GoogleはAutoMLを使って高度なMachine Learningアルゴリズムを生成し社内のサービスで利用してきた。今般、Googleはこのアルゴリズムを公開し「Cloud AutoML」として一般に提供を始めた。Cloud AutoMLは利用者の研究や業務に最適化されたアルゴリズムを生成する。アプリケーションに最適なAIアルゴリズム開発が今年の重要な研究テーマとなる。ひいては、この研究がAIのブラックボックスを解明することにもつながると期待されている。