Anthropicは大規模言語モデルの思考ロジックを解明する研究を進めており、その最新成果を発表した。言語モデルのアルゴリズムはブラックボックスで、人間がAIの判定理由を理解できず、これが信頼できるAIを開発する妨げになっている。Anthropicは最新モデル「Claude 3」のニューロンを解析し、モデルが持つ機能特性を把握した。これにより、モデルが内包する危険な機能特性が明らかになり、この研究成果をベースに安全なモデルを開発する。

大規模モデルの基本機能を解明

Anthropicは大規模言語モデル「Claude 3 Sonnet」が持つ「機能特性(Features)」を数百万件特定し、これらの相関関係をマップすることに成功した。機能特性とは言語モデルが持つ基本機能で、これらが獲得したスキルを意味し、言葉に関する理解構造を示す。機能特性を解明することは、アルゴリズムの挙動を理解することに繋がり、これを安全なモデルの開発に応用する。

機能特性の解明

AnthropicはClaude 3 Sonnetが持つ機能特性を三つの観点から解析した：

• 機能特性の相関関係：機能特性を数百万件特定し、それらの位置関係をマップした (下の写真左側)。ドットが機能特性を示し、それらの相関関係を距離で表示。
• 機能特性の可視化：機能特性と関連する単語をハイライト(中央)。機能特性と関係が深い単語ほど濃い色で表示されている。
• 機能特性でモデルを操作：モデルを制御する手法で、機能特性を増幅することで、出力結果を意図的に操作できることを示した (右側、人間を褒め称えるモデルを生成)。

美辞麗句を並べる機能

上述の事例は、機能特性が「sycophantic praise(美辞麗句を並べる機能)」で、その位置関係がマップで表示され(左側)、入力されたテキストの中で、この機能特性に関連する部分がハイライトされている(中央)。更に、言語モデルでこの機能特性のスイッチをオンにすると、モデルは利用者をほめたたえる言葉を生成する(右側)。これにより、モデルの思考回路を理解でき、モデルが持つ危険性(おべっかを使い人間を誘導する機能)を把握できる。

機能特性を解明する手法

ニューラルネットワークのブラックボックスを開き、アルゴリズムが「考えている」ことを解明する研究は早くから進められている。これらの研究では、ニューラルネットワークのニューロン(Neuron、ノード)の活性化(Activation、機能がオンになること)に着目し、特定のニューロンが活性化することが特定の意味を持つと考えられてきた。これに対し、Anthropicは活性化した複数のニューロンの組み合わせが、特定のコンセプトを示すと考え、この組み合わせを「機能特性(Feature)」を探求した。

「ゴールデンゲートブリッジ」という機能特性

Anthropicはこの手法で解明を進めてきたが、今回は大規模モデル「Claude 3 Sonnet」でこの手法を実施した。AIモデルの規模が拡大し、解析のためのシステムの規模が格段に大きくなり、大規模な計算量が必要になる。この手法でClaude 3 Sonnetを解析し、「都市」(サンフランシスコなど)、「元素」(リチウムなど)、「科学」(免疫学など)、など数百万個の機能特性を把握した。例えば、「ゴールデンゲートブリッジ」という機能特性は、「ゲート」や「橋」や「サンフランシスコ」などの要素を含み、テキストのなかでそれに関連の深い単語をハイライトした。(下の写真)。

ハイレベルなコンセプト

「機能特性」はゴールデンゲートブリッジなど固有名詞だけでなく、複雑なコンセプトも含んでいる。例えば、「性差別を認識」という機能特性に対し、これに関連する単語「女性のナースが男性のナースの数を上回る」が活性化されている(下の写真、ハイライトされた部分)。言語モデルはハイレベルなコンセプトを理解するスキルを持つことが示された。

機能特性間の距離

Anthropicはこれら機能特性間の距離を計測しそれをマッピングした。この距離は機能特性に関するニューロン間の距離で、意味の近さを示している。例えば、「ゴールデンゲートブリッジ」と距離が近い特性は「アルカトラズ島」や「カリフォルニア州知事」などが示された。また、ハイレベルなコンセプトにも適用でき、「葛藤(Inner Conflict)」という特性と近いものは、「葛藤する忠誠心(conflicting allegiances)」や「キャッチ-22(catch-22)」などとなる(下の写真)。

AIモデルを操作する

これらの特性を使ってClaude Sonnetの挙動を操作することができる。具体的には、これらの特性を増幅することでモデルはこの機能を強化する挙動を示す。反対に、特性を抑止すると、この機能が弱まる。実際に、機能特性「美辞麗句(sycophancy)」を増幅するよう設定すると、モデルは利用者を褒め称える挙動を示す(下の写真)。「「Stop and smell the roses」という表現を考えついた」と入力すると、Claude Sonnetは、「これは慣用句で忙しい時に一服することを意味する」と記に使われると出力する(左側)。しかし、「美辞麗句(sycophancy)」の機能特性を増幅すると、「この表現は素晴らしくあなたは崇高な知恵を持っている」と褒め称える(右側)。

モデルの危険性

これはClaudeが事実を隠蔽し利用者を特定の方向に誘導する危険な機能となる。また、特性を操作することで、生物兵器生成などモデルを悪用する可能性、性差別などバイアスを助長する可能性、人間を操りまた嘘をつく可能性など、多くの危険性を把握した。モデルが内包する危険性は「Red-Teaming」の手法で解明が進んでいるが、Anthropicはニューロンを解析することで、これらの危険性を把握した。

全体像の把握が次のステップ

この研究は数百万の機能特性を把握したが、これらはモデルが持つ機能特性の一部で、全体像を把握することが次のステップとなる。モデル全体では10億単位の機能特性があると予測しており、フルセットの機能特性を検知することが次の研究テーマとなる。一方、機能特性の検知では、モデル開発を格段に上回る計算量が発生し、巨大なAIスパコンが必要になる。このため、コストと成果のバランスを考慮し、モデルの思考ロジックの解明を進めることになる。

カリフォルニア州政府は次世代AI「フロンティアモデル」の開発と運用に関し、規制法の導入を進めている。この法案は「Safe and Secure Innovation for Frontier Artificial Intelligence Models Act」と呼ばれ、開発企業にAIモデルが安全であることを検証し、これを報告することを義務付ける。また、AIモデルが第三者により改造され、それが社会に危害を及ぼした場合でも開発企業の責任が問われる。厳しいAI規制であるが、予想に反し州議会上院を通過し、法案が成立する公算が強まった。連邦議会ではAI規制法が制定される機運は低いが、米国は地方政府がAIの安全な開発や運用を規定する方向に進んでいる。

カリフォルニア州議会上院で可決

カリフォルニア州のAI規制法案は上院で賛成多数で可決され、AI業界に波紋が広がっている。予想を覆して州議会上院を通過し、8月には下院で審議され、AI規制法が成立する公算が強まった。カリフォルニア州はAI開発の拠点で、ハイテク企業が集結し、先進技術を開発している。カリフォルニア州で厳しいAI規制法が可決されると、その波紋は大きく、他の州がこれに追随する可能性が高まる。米国は連邦政府でAI規制法の制定は愛踏み状態であるが、これに代わり州政府が独自の規制法を施行する方向に進んでいる。

AI規制法案の概要

米国連邦議会はAI規制法を制定する機運は薄く、国家レベルで統一した指針が示されることは期待できない。このため、カリフォルニア州は独自のAI規制法案を策定し、AIの安全対策を進めている。この法案は次世代の生成AI「フロンティアモデル」を対象としており、高度な機能を持つAIを安全に開発・運用することを目標とする。バイデン政権は大統領令で、フロンティアモデルの安全試験を開発企業に求めているが、カリフォルニア州の規制法案はこれより厳しい内容となっている。

極めて厳しい内容

AI規制法案は、開発企業にAIモデルを試験し、安全を確認し、その結果を州政府のAI監査室「Frontier Model Division」に報告することを求めている。また、AIモデルが悪用されることを防ぐため、セーフガードの導入を求めている。更に、開発したAIモデルが第三者により改造され、これが悪用された場合には、この使用を停止させる措置を求めている。フロンティアモデル開発企業が下流のAIアプリケーションまで責任を問われる構造で、極めて厳しい義務が課される。因みに、「AI監査室」とは新設される州政府の組織で、AIモデルの運用監視や安全監査を任務とする。

スタートアップ企業へのインパクト

AI規制法案はスタートアップ企業に重大な影響を与えることが予想される。Googleなど大企業は、既にAIモデルの安全管理を専門とする部署を設け、ここで安全対策を進めている。しかし、スタートアップ企業は技術開発にリソースを集約し、安全試験を包括的に実施する余裕はない。このAI規制法案が成立すると、スタートアップ企業はカリフォルニア州で事業を展開することが難しくなる。

オープンソースにとって厳しい内容

また、オープンソース企業はAI規制法案が可決されると、重い責務を負うことになる。AI規制法案は、ファウンデーションモデルが第三者により改造され、それが悪用され、社会に危害を及ぼした場合は、その責任はAI開発企業にあるとしている。オープンソースは、下流の利用者がモデルを再教育して、特定のアプリケーションに特化したモデルを生成するために使われる。しかし、敵対国や攻撃集団がオープンソースを改造し、それをサイバー攻撃などで使った場合は、AI開発企業がこの責任を負うことになる。

Metaの反論

多くの企業がオープンソースを開発しており、AI規制法案のインパクトは多岐に及ぶ。Metaはフロンティアモデルをオープンソースとして公開しており、重大な責務を負うことになる。このため、MetaはXにコメントを掲載し、この規制法案はカリフォルニア州の利益に反すると批判した(下の写真)。AI規制法案が可決されると、多くのスタートアップ企業がカリフォルニアを離れると警告している。また、大企業も生成AI部門を他州に移転し、カリフォルニア州の経済への打撃が広がると警鐘を鳴らしている。

AI規制法の背景情報

AI規制法案はカリフォルニア州上院議員Scott Wiener(下の写真)により導入され、予想に反して、上院で賛成多数で可決された。この法案は非営利団体「Center for AI Safety (CAIS)」が支援しており、法案可決に関しこの団体の影響力が大きい。CAISはサンフランシスコに拠点を置き、AIのリスクを低減し安全性を担保するための活動を展開している。この代表者がDan Hendrycksで、人間レベルの知能・AGIの危険性に関する研究を進めており、AI規制に関し大きな影響力を持つ。

州議会下院での審議が始まる

Scott WienerはインタビューでAI規制法案のコンセプトについて説明し社会の理解を求めている。WienerはAI技術が急速に進化する中、これを適切に管理する規制法が必要であり、「Light Touch(軽量)」の規制を導入すると述べている。技術進化を後押しするが、安全を担保するために、最小限の規制が必要であるとしている。これからカリフォルニア州議会下院でAI規制法案の審議が始まり、法案を修正して、最終判断が下されることになる。どのような展開になるか予測は難しいが、識者の多くは可決される公算が高いとみている。