インターリンクは毎年サンフランシスコで「シリコンバレーインターンシップ」を行っています。2019年の開発テーマは「日本アカデミー大賞最優秀賞を予想するAIシステムの構築」でした。そして第44回日本アカデミー大賞最優秀賞（草彅剛主演「ミッドナイトスワン」）を見事的中させました。

映画を見ていないAIがどのようにしてアカデミー賞を予想するのか素人には予想もつきません。今度は馬券予想をぜひ！と言いたくなる俗な自分を少し恥じていたところ、自我のないAIが差別をしたかのようなニュースについてインターリンク社長の神の領域にもつながる考察が行われましたので以下ご紹介します。

自我のないAIが差別をした？！

Apple Cardの利用限度額に性差別？米ニューヨーク州当局が調査

この記事を簡単に解説すると、

Appleがクレジットカードを作った
↓
利用可能額は、AIが判定した
↓
信用スコアでは妻の方が高い夫婦で、
夫の利用可能額が妻の20倍だった
↓
これは性差別だから、なんとかすべき

という話です。

そして、「差別というのは、人間の意識がするものだと思ってたけど、意識のないAI（アルゴリズム）も差別をすることがわかった」というような論調です。

ことばんくによれば、

差別とは、特定の個人や集団に対して正当な理由もなく生活全般にかかわる不利益を強制する行為

とあります。

記事にあるクレジットカード利用可能額の差異が、正当な理由がなかったのかどうか、考えてみます。

たとえば、

（例１）年収１０００万円のAさんと年収５００万円のBさんがいて、年収以外に差はないとして、この二人のクレジットカード利用可能額が違っていたとしたら、これは差別でしょうか？

これは差別とは言えないでしょう。

（例２）年収１０００万円の男性Aさんと、年収１０００万円の女性Bさんがいて、性別以外に差がないとして、クレジットカード利用可能額が違っていたら、どうでしょうか？

これは一般的には差別と言えるであろうとは思いますが、性別によって浪費癖が見られるというような事実があったとしたら、差別とは言えなくなりそうです。

少し問題を複雑にしてみます。

（例３）年収１０００万円の日本に住む日本人のAさんと、年収１０００万円相当でアメリカに住む日本人のBさんがいて、居住地以外に差がないとして、利用可能額が違っていたら、これは差別でしょうか？

日本とアメリカで物価が違いますから、利用可能額に多少の違いがあっても差別とは言いづらいと思います。

では、もう一段複雑にして、

（例４）年収１０００万円相当でアメリカに住む日本人のAさんと、年収１０００万円相当でアメリカに住むアメリカ人のBさんがいて、国籍以外に差がないとして、利用可能額が違っていたら、これは差別でしょうか？

これはかなり微妙な問題になりました。

国籍によって、債務を弁済しない可能性が高まるのか？という話です。

AIは、簡単に言うと、大量のデータから法則を見つけ出しています。国籍によって、債務を弁済しない可能性に違いがあったというデータがあれば、そのような結果を出します。「xxという国の人は債務を弁済しない」という偏見ではなく、過去のデータからの一般的な傾向を見つけてしまうのです。当然のことですが、その法則は、あくまで一般的に言って、の話なので、個人に当てはまらないことも多くあるわけです。

国籍という項目をAIに入力していたら、必ず両者の利用可能額は差異が出るはずです。

これを差別と考えるのであれば、国籍という項目をAIに入力しないようにするしかありません。同様に、性別もAIに入力しなければ、性別による差異はなくなります。差別という問題をなくすのであれば、差別の原因となりそうな項目をAIに学習させなければ良いのです。

入力しないという行為は、その項目によって結果が変わらない、という信念をAIに教えている、もしくは、その項目によって結果を変えてはいけないとAIに教えている、と考えると良いでしょう。

ただ、そうすることで真実に近づいているのか、あるいは遠のいているのかは、神のみぞ知るということになりそうです。