AIの中心技術であるニューラルネットワークが巨大化している。高精度なAIを開発するためにニューラルネットワークの構造が複雑になり、それを教育するプロセスで大規模な計算量を必要とする。計算処理量は消費電力と比例し、排出される二酸化炭素量が急増している。このペースで進むと2025年までに温暖化ガスの10%をAI開発が占めるとの予測もある。AI開発は規模の競争になっているが、いかに省エネなニューラルネットワークを開発できるかが問われている。

出典: Google

AI開発と消費エネルギー量

University of Massachusettsの研究チームは論文「Energy and Policy Considerations for Deep Learning in NLP」を公開し、AI開発と消費エネルギー量の関係を明らかにした。自然言語解析(Natural Language Processing)分野でニューラルネットワークが大きく進化しているが、その精度を上げるためには大規模な演算量を必要とする。これが大量の電力消費に結びつき、開発方針を見直す必要があると提言している。

二酸化炭素排出量

研究チームは自然言語解析モデルを教育する際に発生する二酸化炭素量を算定した。これによると「Transformer」というAIを教育すると192ポンド(87キログラム)の二酸化炭素が排出される(下のテーブル、二段目、CO2e)。これは自動車に換算すると400マイル(644キロメートル)走行したケースに匹敵する。

出典: Emma Strubell et al.

Transformerとは

このTransformerとはGoogleが開発した言語モデルで翻訳などの自然言語処理で使われる。Transformerは他方式と比較して翻訳精度が極めて高いという特性を持っている。通常、言語モデルはRecurrent Neural Network(RNN)が使われるが、Googleは独自の方式でニューラルネットワークを開発し、言葉を理解する能力を格段に向上させた。実際、Transformerは翻訳サービス「Google Translate」で使われており、生活に身近な存在でもある。

Transformerを最適化すると

更に、このTransformerを最適化すると626,155ポンド(284トン)の二酸化炭素が排出され、これはクルマで地球を５０周走ったケースに匹敵する(上のテーブル、六段目、NASと示された部分)。これをクラウド使用料金に換算すると最大で320万ドルとなり、今ではニューラルネットワークを一本開発するのに多額の費用が発生する。

ニューラルネットワークの最適化

Transformerを最適化するとはニューラルネットワークの構造を目的に合うように変更することを意味する。Transformerの基本モデルが完成すると、その精度を上げるため「Neural Architecture Search (NAS)」というプロセスを実行する。これがニューラルネットワークを最適化するプロセスで、ハイパーパラメータ最適化(Hyperparameter Optimization)とも呼ばれる。ハイパーパラメータとはニューラルネットワークの基本形式で、学習速度(Learning Rate)、隠れ層(Hidden Layer)の数、CNNカーネル(Convolution Kernel)の大きさなどから構成される。従来はハイパーパラメータ最適化のプロセスを研究者がマニュアルで実行してきたが、GoogleはこれをAIで実行する。AIがAIを生成することになり、この処理で大規模な演算量が発生し、これが地球温暖化の原因となっている。

ニューラルネットワークの巨大化

この研究とは別に、OpenAIはニューラルネットワークの規模が急速に巨大化していることを明らかにした。ニューラルネットワークの構造が複雑になり、それを教育するための計算量が幾何級数的に大きくなっていることを定量的に示した(下のグラフ)。ニューラルネットワークを教育するための計算量(PetaFlops-Day、1日に千兆回計算する量を１とする)で比較すると、1年間で10倍になっていることが分かる。最初のニューラルネットワーク「AlexNet」と最新のニューラルネットワーク「AlphaGO Zero」を比較するとその規模は３０万倍になっている。

出典: OpenAI

ムーアの法則を上回るペース

ムーアの法則はチップに搭載されるトランジスターの数が18か月ごとに倍増することを示している。一方、上述のケースではニューラルネットワークを教育するために必要な演算量は3.5か月ごとに倍増している。AIの規模が巨大化していることは感覚的に分かっていたが、ムーアの法則を上回る勢いで拡大していることが明らかになった。この原因はニューラルネットワーク自体が大きくなることに加え、それを最適化するプロセス(上述のNAS)で大規模な計算量が発生するためである。

精度から省エネへ

これがデータセンタの電力消費量を押し上げ、地球温暖化の原因となっている。プロセッサの進化も激しく、AI処理専用プロセッサ(Google TPUなど)の普及がこのトレンドを下支えしている。これからもニューラルネットワーク開発の規模は拡大を続け、環境に与えるインパクトは看過できなくなる。このため、ニューラルネットワーク開発では精度の追求だけでなく、如何に省エネに開発できるかが問われている。

トランプ大統領はパリ協定から離脱することを発表し (下の写真) 混乱が広がっている。大統領は離脱の理由をアメリカ経済を優先するためと説明した。しかし、脱退の狙いはトランプ支持者にアピールし支持基盤を固めるためといわれている。問題の根は深く地球温暖化対策だけでなく、トランプ政権の科学技術政策も危うい状況にある。

出典: The White House

ホワイトハウスで混乱が続く

トランプ大統領が就任して以来、ホワイトハウスで混乱が続いている。科学技術分野に関してはOffice of Science and Technology Policy (OSTP、アメリカ合衆国科学技術政策局) のポストが空席のままである。OSTPとは大統領の科学技術政策に関するブレインで、その長官は米国政府のCTOと呼ばれている。トランプ政権では科学技術政策を立案するためのアドバイザーがいない状態が続いている。

大統領はホワイトハウスの機能を信用していない

OSTPはホワイトハウスの組織で1976年、フォード政権時代にアメリカ議会により設立された。OSTPの使命は大統領が政策を立案する際に科学的な見地からアドバイスすること。OSTP長官は連邦政府のCTOとして認識され、大統領の科学技術政策や予算政策を支援してきた。オバマ政権ではJohn HoldrenがOSTP長官を務め、がん研究や脳解明プロジェクトなどの科学技術政策を支えてきた (下の写真)。現在OSTP長官は指名されておらず空席であるが、その理由はトランプ大統領がホワイトハウスの機能を信用していないためとされる。

出典: The White House

シンクタンクにアドバイスを求める

トランプ大統領は政策のアドバイスをホワイトハウスではなく外部シンクタンクに求めている。その一つが「Heritage Foundation」という保守系シンクタンクだ (下の写真)。Heritage Foundationは1973年に設立され共和党の政策立案に大きな影響を与えてきた。レーガン大統領は政府組織を縮小し小さな政治を目指したが、その政策基盤はHeritage Foundationの思想がベースになっている。

パリ協定についてのアドバイス

トランプ大統領は選挙期間中もHeritage Foundationからアドバイスを受けた。地球温暖化問題に関してもアドバイスを受け、選挙公約としてパリ協定脱退を表明していた。その根拠は「パリ協定に参加すると米国のエネルギーコストが上昇し、雇用が失われ、家庭の負担が2万ドル増える」というHeritage  Foundationの試算にある。

最終判断に大きな影響

Heritage Foundationは同時に、パリ協定を脱退することを支持層にアピールし、公約を実行する姿勢を示すべきとトランプ大統領にアドバイスした。トランプ大統領の最終決断はこのアドバイスが大きく影響し、科学的見地からではなく、Populism (中間層へのアピール) を選択したという解釈が広がっている。Heritage Foundationはこの成果を「Heritage Research Impacts Trump’s Decision to Withdraw From Paris Climate Deal (Heritageの研究が離脱の決断をもたらした)」という記事で公開しその成果を広くアピールしている。

バランスの問題

パリ協定以外に科学技術政策全般にわたりOSTPの機能が使われていない。OSTPという行政府組織ではなく特定方向に強い意見を持つシンクタンクのアドバイスを受け入れている。大統領がシンクタンクに意見を求めるのは常套手段であるが、行政府の機能を飛び越し特定のシンクタンクの意見だけで政策が立案されるのはバランスを欠いている。

政策に大きな影響を与えてきた

一方、Heritage  Foundationは連邦政府の政策に大きな影響を与えてきたことも事実である。オバマ政権下では共和党向けに医療保険制度改革 (オバマケア) に反対する根拠を立案し、法案成立後はオバマケアを置き換える運動を展開した。これがTea Party運動となり連邦議会で共和党が躍進する後ろ盾になった。ブッシュ政権ではAnti-Ballistic Missile Treaty (弾道弾迎撃ミサイル制限条約) を破棄し防衛力強化を進めた。ロシアとの友好関係が崩れ再び冷戦時代に向かうことになった。

出典: Heritage Foundation

大統領予算教書

予算教書 (Budget Proposal) も科学技術政策に関するブレイン不在で立案された。トランプ大統領は就任後初となる予算教書を公開した。公約通り連邦政府各省庁の予算が大幅に削減された。Environmental Protection Agency (環境保護庁) とDepartment of Agriculture (農務省) の予算は３０％削減され、反対に国防費と治安関連費は大規模に増額された。

科学技術関連予算が大幅に削減された

予算教書の中では科学技術関連予算が大幅に削減された。National Institutes of Health（NIH、国立衛生研究所）は医療技術の研究拠点で先進治療法が開発されている。NIHの予算は18%削減され医療技術研究に大きな影響がでると懸念されている。National Cancer Instituteはガン治療先進技術開発プロジェクト (Moonshot Project) を運用しているが継続できない可能性がでてきた。また、オバマ大統領が始めたヒトの脳を解明する研究「Brain Initiative」の予算が削減されプロジェクト規模が縮小される。この研究がアルツハイマー病の治療や人間レベルのAI開発につながると期待されていただけに先行きが見通せない。

NASAの予算は確保された

一方、NASAの予算は1%程度の削減で現行プロジェクトが継続される。NASAの研究は地球を対象としたものからDeep-Space Explorationと呼ばれる月探査や火星探査が中心となる。最終目的は太陽系システムで人が生活することを目指し、当初の計画通り、海外の国々と協力してプロジェクトが進められる見通しとなった。ただし、予算は議会の承認を経て成立するため今後の審議に注目していく必要がある。

トランプ大統領の政策とは独立に対策が進む

連邦政府の方針とは独立にカリフォルニア州やハワイ州などは独自で地球温暖化防止政策を推進している。カリフォルニア州は中国や欧州と連携し連邦政府に代わり温暖化対策を進め、パリ協定離脱の影響を最小限にとどめる姿勢を取っている。カリフォルニア州知事Jerry Brownは中国Xi Jinping (習近平) 大統領と会談しクリーン技術開発を進めている。中国は温暖化問題についてカリフォルニア州など州政府と協調する姿勢を示している。

出典: http://www.WeAreStillIn.com

パリ協定離脱に反対する署名活動

トランプ大統領のパリ協定離脱に反対する署名活動はいまも続いている (上の写真)。反対の意を表明するだけではなく、パリ協定を離脱するものの地方政府、大学、企業は地球温暖化対策を継続して進めるという決意を世界に向けて表明する意図がある。５千団体から署名が集まり大きな流れとなっている。パリ協定離脱後もアメリカ社会の地球温暖化防止の意識は高く努力が続いている。