Apple Cardはお洒落なデザインのクレジットカードで利用が広がっている。しかし、Apple Cardは女性の信用度を低く査定するという問題が発覚した。クレジットカードはGoldman Sachsが発行しており(下の写真)、同行が開発したAIに問題があるとみられている。AIが性別により評価を変えることは法令に抵触する疑いがあり、司法当局は捜査に乗り出した。

出典: Apple

Apple Cardの問題点

この問題は著名人らがツイートしたことで明らかになった。David Heinemeier Hansson(Ruby on Railsの開発者)はツイートでこの問題を指摘した。 Hansson夫妻はどちらもApple Cardを持っているが、利用限度枠(Credit Limit)が大きく異なる。利用限度枠とはクレジットの上限で、同氏は妻の20倍となっている。税金は夫妻合算で納税申告をしており、財政面では同じ条件であるが、奥様の信用度が低く評価されている。同様に、Steve Wozniak(Apple共同創業者)も奥様に比べ10倍の利用限度枠があるとツイートしている。

信用度の査定

利用限度枠はApple Cardを申し込むときに決定される。カードを申し込むとき、必要事項を記入し、Goldman Sachsがそれらを審査して可否を決定する。その際に、住所氏名、ソーシャルセキュリティー番号(マイナンバー)、年収などを記入し(下の写真左側)、それらはアルゴリズムで解析され、信用度が査定される。申し込みが受け付けられるとカードが発行されるが、その時に利用限度枠が決まる(下の写真右側、筆者のケースでは10,000ドル)。

出典: VentureClef

司法当局が捜査に乗り出す

有名人が相次いでツイートしたことからApple Cardの問題が社会の関心事となり、ニューヨーク州の金融機関を監督するNew York State Department of Financial Services(DFS)が見解を発表した。ニューヨーク州は与信審査のアルゴリズムが性別や人種などで不公平であることを禁止している。このため、法令に抵触している疑いがあり、DFSはGoldman Sachsの捜査を開始するとしている。因みに、DFSは銀行や保険会社の違法行為を監視する機関で、今までにBitcoinにかかる不正な事業を摘発している。

米国連邦政府の法令

米国では法令「Equal Credit Opportunity Act (ECOA)」により、誰でも公平にローンを受ける権利を保障している。これは1974年に施行されたもので、その当時、女性はローンを申し込んでも断られるケースが多く、男女差別を無くすことを目的に制定された。1976年には、性別だけでなく、人種や国籍や信条などが加わり、今に至っている。ローン審査のアルゴリズムはこの法令に順守することが求められる。

Goldman Sachsの見解

これらの動きに対してGoldman Sachsは見解を表明した。それによると、Goldman Sachsはカード申し込み時に信用審査を実施するが、男性と女性に分けて行うのではなく、男女同じ基準で評価している。申込者の年収やクレジットスコアや負債などをベースに信用度が査定され、利用限度枠が決まる。審査で性別は考慮しないため、女性に不利になることはないと説明している。

出典: Apple

原因は教育データの不足

Goldman Sachsが見解を発表したが、アルゴリズムの構造などには触れておらず、問題の本質は不明のままである。同行からの検証結果を待つしかないが、市場ではアルゴリズム教育に問題があるとの考えが有力である。通常、信用評価アルゴリズムは過去のクレジットカード応募者のデータを使って教育される。データの多くは男性で、女性のデータは少なく、アルゴリズムは女性の信用度を正しく評価できなかったとみられている。

アルゴリズムが女性を識別した？

これとは別の推測もある。Goldman Sachsはアルゴリズムは男性と女性を特定しないで評価したと述べており、教育データは男性と女性に分かれておらず、アルゴリズムは性別を把握できない。しかし、アルゴリズムはデータから、男性と女性を特定する情報を学び、応募者の性別を把握していたとの解釈もある。その結果、過去のデータから、女性の信用度を低く判定した。つまり、開発者の意図とは異なり、アルゴリズムが独自に男女を識別し、男性に有利なデータに基づき、女性の信用度を低く評価したことになる。ただ、これらは推測であり、真相解明はGoldman Sachsの検証結果を待つしかない。

AIの限界

Goldman Sachsは、勿論、意図的に女性の利用限度枠を下げたのではなく、アルゴリズムが開発者の意図とは異なる挙動を示し、このように判定した可能性が高い。多くの金融機関でAIによる信用度審査が実施されているが、そのアルゴリズムはブラックボックスで、人間がそのロジックを理解できないという問題が改めて示された。AI開発ではアルゴリズムの判定メカニズムを可視化する技術の開発が急がれる。