ダイバーシティがAIの常識に！？

AIの時代に求められる公平性

機械は差別をしない。ユーザーの誰にも公平に機械は動作する。そんな考え方は前世紀の話。そういえば、前世紀の終わりのころには、ユニバーサルデザインのような考え方があったので、機械というのは所々で一定の人を拒絶するものだったのかもしれないですね。そして、いまAI（人工知能）の時代となり、いよいよ機械の公平性というところに注目が集まるところとなりました。

スマートスピーカーは誰の声を聴く？

ACM機関誌(Communication of the ACM、以下CACM)の記事に興味深いレポートがありました。[1] スマートスピーカーやスマートフォンで使われている音声認識が、実は人種によってうまく機能したりしなかったりするらしいのです。私の英語がなまっていて識別されない、というのはまあ良いとして、同じ米国の中でも白人と黒人で差があるというのです。

このリサーチはスタンフォード大学のチームが行ったとのことですが[2]、Google, Facebook, Microsoftなどの自動音声認識(Automated Speech Recognition, ASR)をテストすると、人種によって認識率が大きく違うのだそうです。例えば、白人被験者では誤認率（the average word error rate, WER）が19%だったのに対し、黒人被験者では35%まで跳ね上がったとのこと。いわゆる黒人英語(African-American Vernacular Englishと呼ぶそうです)がうまく聞き取れないんだそうです。

これはさすがに不公平です。

学習データに必要とされるダイバーシティ、学習データのクラウドソーシング化の動き

もちろんこれらの偏りは、多くは学習用データ（教師データと呼ぶ）の偏りによります。マイクロソフトのTayの事例にもあるように、悪意のあるデータセットで学習をすれば悪意のあるAIとして成長しますし、正しいデータを用いれば正しくAIは育ちます。

公平性の観点からは、学習するデータのデータソースは、偏りなく性別、人種、民族、年齢などの分布を盛り込むべきです。今企業は組織のダイバーシティを進めていますが、AIの世界でもダイバーシティはキーワードなのですね。かつ、AIの教師データの量は多ければ多いほど良い。

さて、このような要求を満たすため、どのようにデータを集めればよいのでしょうか？先ほどのCACMの記事にAIプラとフォームプロバイダーの共同創業者Hauswaldさんのコメントがありました。この会社では、AIの学習用データをクラウドソーシングで集めることを進めているそうです。

確かにクラウドソーシングは、「PCの画面に向かって作業をする」という業務形態はAIの学習データ測定にはぴったりです。問題はクラウドソーシングで得られるデータがダイバーシティと呼べるほど広がりがあって、かつデータとして信頼できるものか（いい加減に測定されていないか、など）という点です。

実は、クラウドソーシングを研究データ収集に使おうというのは多くの研究者に広がっていて、そのデータクオリティーについても調べている研究者がいます。例えば、Paolicci他[4]の研究では、Amazonのクラウドソーシングサービス、Amazon Mechanical Turkについて分析をしていて、クラウドソーシングの方が調査パネルのような被験者プール型の調査データより優れていることを示しています。また、これは米国についてですが、デモグラフィクスの分布についても優れていると結論しています。AIのデータ収集という意味では優れた手法であり、デモグラフィクスの分布もコントロールできそうです。

アメリカと比べて教師データのダイバーシティに関しての懸念は強くはありませんが、日本でも教師データの効率的取得場所としてクラウドソーシングの活用も徐々に始まっているようです。

日本におけるAIの公平性の議論、そしてELSIへ

日本においてもAIの公平性については議論が活発になってきました。先日も人工知能系の学会のメンバーが集まってシンポジウムが行われたそうです[5]。テーマは「機械学習と公平性」。機械学習、もしくはAIは公平であるべきだ、という議論です。が、これがなかなか難しい。そもそも「公平」とは何か？というところに引っ掛かります。

そもそも機械学習の手続きが公平という意味なのか、機械学習を使ってみた結果が公平なのか・・・前述の音声認識の例では、認識ができないという結果の不公平の話から始まり、それは教師データに偏りがある手続きの不公平があるからではないか？と、いささか乱暴な議論をしてきましたが、一般的にはこの二つは必ずしも一致せず、また不公平を検証するためにいちいち触られたくないプライバシーにかかわる情報を用いて検証を行うという難しさが残ります。

AIの公平性を担保するための議論はこの先まだまだ困難があるでしょう。一方で、これらの機械やAIが持つべき公平性を実現しようとする研究者のあるべき態度は、研究者の倫理規定として様々な学会が掲げています。日本では例えば、人工知能学会倫理指針[6]、国際学会ではACMの倫理規定[７]などがそれにあたります。いずれも2017-18年ごろに議論され制定されたもので、比較的新しいものです。それだけAIの倫理的課題が大きかったことの表れともいえます。

これら倫理的視点は人工知能に限らず、ゲノムなどの生命科学をはじめ、様々な社会科学でも議論が活発化しています。一連の議論は、ELSI (Ethical, Legal and Social Issues、エルシーと読む)として社会的課題、そしてその研究分野として発展しつつあります。最近大阪大学にELSIの研究機関[8]ができたのも非常に興味深く、今後の注目です。

[1] Keith Kirkpatrick “Natural Language Misunderstanding” Communications of the ACM, November 2020, Vol. 63 No. 11, Pages 17-18

[2] Racial Disparities in automated speech recognition, Proceedings of the National Academy of Sciences of the United States of America, April 7, 2020. https://doi.org/10.1073/pnas.1915768117

[3] DAVEY ALBA「AI『Tay』を“最低なヤツ”にしたのは誰だ？」https://wired.jp/2016/03/30/microsofts-teen-ai-turned-into-such-a-jerk/

[4] Gabriele Paolacci, Jesse Chandler, and Panagiotis G. Ipeirotis “Running experiments on Amazon Mechanical Turk” Judgment and Decision Making, Vol. 5, No. 5, 411-419

[5] Hiroshi Maruyama「機械学習と公平性シンポジウムについて」https://tech.preferred.jp/ja/blog/ml_and_fairness/

[6] 人工知能学会倫理委員会　http://ai-elsi.org/archives/471

[7] ACM倫理規定　https://ethics.acm.org/

[8] 大阪大学社会技術共創センター/Research Center on Ethical, Legal and Social Issues https://elsi.osaka-u.ac.jp/