AI・ビックデータの負の側面を、具体例を盛り込んで解説している
それに対する対策・提案は少ないが、事例を知ることができるという点で、良い本だと思う
少々高いが
この商品をお持ちですか?
マーケットプレイスに出品する
無料のKindleアプリをダウンロードして、スマートフォン、タブレット、またはコンピューターで今すぐKindle本を読むことができます。Kindleデバイスは必要ありません 。詳細はこちら
Kindle Cloud Readerを使い、ブラウザですぐに読むことができます。
携帯電話のカメラを使用する - 以下のコードをスキャンし、Kindleアプリをダウンロードしてください。
あなたを支配し、社会を破壊する、AI・ビッグデータの罠 単行本 – 2018/6/18
購入を強化する
:::: AI・ビッグデータの暴走を止めよ! ::::
全米を、世界を、震わせた人類への警鐘
★「必読です! 」
ーー新井紀子(『AI vs. 教科書が読めない子どもたち』)
待望の邦訳。ビッグデータとAIの被害に遭うのは「あなた」かもしれない
★「年間ベストブック」
ーーユヴァル・ノア・ハラリ(『サピエンス全史』)
魅了され、深く心をかき乱される 『ガーディアン』紙
いまやAI・ビッグデータは、人間の能力・適性・信用、
さらには善悪や身体までも評価し、選別し始めた。
問題は、こうしたAI・ビッグデータの仕組みや活用法の多くが、
偏見や誤りなどであふれていることだ。
中立・公正のように見えるアルゴリズムにも、
作り手の「見解」や「目的」が埋め込まれている。
数値化しにくいリアルな世界の複雑さや公平性を欠いたまま、
効率・収益を優先するアルゴリズムによって私たちの生活・社会が導かれていく。
さらに信用格付けが下がるなど、アルゴリズムによる評価を落とすと、
他分野にも影響がおよび、悪循環のフィードバックループが待っている。
私たちは、こうした破壊的なAI・ビッグデータとは何かを知り、
変えていくことによって、主導権を人間に取り戻さなくてはならない。
★ 世界的ベストセラー、年間ベストブック&賞、多数!
★ 竹内薫・養老孟司・長谷川眞理子さん、絶賛書評!
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
::著者:: キャシー・オニール
データサイエンティスト。ハーバード大学で数学の博士号を取得。
バーナードカレッジ教授を経て、企業に転職し、
金融、リスク分析、eコマースなどの分野で、アルゴリズム作成などに従事。
ブログ「mathbabe」を開き、「ORCAA(オニール・リスク・コンサルティング&アルゴリズム・オーディティング)」を創設。
::訳者:: 久保尚子
翻訳家。IT企業勤務を経て、翻訳業に従事。訳書にスティーヴ・ロー『データサイエンティストが創る未来』、
マイケル・ブルックス&サイモン・ブラックバーン『ビッグクエスチョンズ 物理』など。
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
::目次::
はじめに: AI・ビッグデータは破壊兵器になる
第1章[モデル] 良いモデル、悪いモデル
第2章[内幕] データビジネスの恐るべき真実
第3章[教育] 大学ランキング評価が多様性を奪う
第4章[宣伝] 弱みにつけこむオンライン広告
第5章[正義] 「公平」が「効率」の犠牲になる
第6章[就職] ふさわしい求職者でも落とされる
第7章[仕事] 職場を支配する最悪のプログラム
第8章[信用] どこまでもついて回る格付け評価
第9章[身体] 行動や健康のデータも利用される
第10章[政治] 民主主義の土台を壊す
おわりに: 人間だけが未来を創造できる
全米を、世界を、震わせた人類への警鐘
★「必読です! 」
ーー新井紀子(『AI vs. 教科書が読めない子どもたち』)
待望の邦訳。ビッグデータとAIの被害に遭うのは「あなた」かもしれない
★「年間ベストブック」
ーーユヴァル・ノア・ハラリ(『サピエンス全史』)
魅了され、深く心をかき乱される 『ガーディアン』紙
いまやAI・ビッグデータは、人間の能力・適性・信用、
さらには善悪や身体までも評価し、選別し始めた。
問題は、こうしたAI・ビッグデータの仕組みや活用法の多くが、
偏見や誤りなどであふれていることだ。
中立・公正のように見えるアルゴリズムにも、
作り手の「見解」や「目的」が埋め込まれている。
数値化しにくいリアルな世界の複雑さや公平性を欠いたまま、
効率・収益を優先するアルゴリズムによって私たちの生活・社会が導かれていく。
さらに信用格付けが下がるなど、アルゴリズムによる評価を落とすと、
他分野にも影響がおよび、悪循環のフィードバックループが待っている。
私たちは、こうした破壊的なAI・ビッグデータとは何かを知り、
変えていくことによって、主導権を人間に取り戻さなくてはならない。
★ 世界的ベストセラー、年間ベストブック&賞、多数!
★ 竹内薫・養老孟司・長谷川眞理子さん、絶賛書評!
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
::著者:: キャシー・オニール
データサイエンティスト。ハーバード大学で数学の博士号を取得。
バーナードカレッジ教授を経て、企業に転職し、
金融、リスク分析、eコマースなどの分野で、アルゴリズム作成などに従事。
ブログ「mathbabe」を開き、「ORCAA(オニール・リスク・コンサルティング&アルゴリズム・オーディティング)」を創設。
::訳者:: 久保尚子
翻訳家。IT企業勤務を経て、翻訳業に従事。訳書にスティーヴ・ロー『データサイエンティストが創る未来』、
マイケル・ブルックス&サイモン・ブラックバーン『ビッグクエスチョンズ 物理』など。
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
::目次::
はじめに: AI・ビッグデータは破壊兵器になる
第1章[モデル] 良いモデル、悪いモデル
第2章[内幕] データビジネスの恐るべき真実
第3章[教育] 大学ランキング評価が多様性を奪う
第4章[宣伝] 弱みにつけこむオンライン広告
第5章[正義] 「公平」が「効率」の犠牲になる
第6章[就職] ふさわしい求職者でも落とされる
第7章[仕事] 職場を支配する最悪のプログラム
第8章[信用] どこまでもついて回る格付け評価
第9章[身体] 行動や健康のデータも利用される
第10章[政治] 民主主義の土台を壊す
おわりに: 人間だけが未来を創造できる
- 本の長さ336ページ
- 言語日本語
- 出版社インターシフト
- 発売日2018/6/18
- 寸法19 x 13 x 2 cm
- ISBN-104772695605
- ISBN-13978-4772695602
この商品を見た後に買っているのは?
ページ: 1 / 1 最初に戻るページ: 1 / 1
商品の説明
内容(「BOOK」データベースより)
AI・ビッグデータの暴走を止めよ!業界内部を熟知するデータサイエンティストによる、人類への警鐘!いまやAI・ビッグデータは、人間の能力・適性・信用、さらには善悪や身体までも評価し、選別し始めた。格差を広げ、社会を破壊するデータ活用を変えよ!
著者について
データサイエンティスト。ハーバード大学で数学の博士号を取得。
バーナードカレッジ教授を経て、企業に転職し、金融、リスク分析、eコマースなどの
分野で、アルゴリズム作成などに従事。
ブログ「mathbabe」を開き、「ORCAA(オニール・リスク・コンサルティング&アルゴリズム・オーディティング)」を創設。
バーナードカレッジ教授を経て、企業に転職し、金融、リスク分析、eコマースなどの
分野で、アルゴリズム作成などに従事。
ブログ「mathbabe」を開き、「ORCAA(オニール・リスク・コンサルティング&アルゴリズム・オーディティング)」を創設。
著者略歴 (「BOOK著者紹介情報」より)
オニール,キャシー
データサイエンティスト。ハーバード大学で数学の博士号を取得。バーナードカレッジ教授を経て、企業に転職し、金融、リスク分析、eコマースなどの分野で、アルゴリズム作成などに従事。ブログ「mathbabe」を開き、「ORCAA(オニール・リスク・コンサルティング&アルゴリズム・オーディティング)」を創設
久保/尚子
翻訳家。京都大学理学部(化学)卒業。同大学院理学研究科(分子生物学)修了。IT企業勤務を経て、翻訳業に従事(本データはこの書籍が刊行された当時に掲載されていたものです)
データサイエンティスト。ハーバード大学で数学の博士号を取得。バーナードカレッジ教授を経て、企業に転職し、金融、リスク分析、eコマースなどの分野で、アルゴリズム作成などに従事。ブログ「mathbabe」を開き、「ORCAA(オニール・リスク・コンサルティング&アルゴリズム・オーディティング)」を創設
久保/尚子
翻訳家。京都大学理学部(化学)卒業。同大学院理学研究科(分子生物学)修了。IT企業勤務を経て、翻訳業に従事(本データはこの書籍が刊行された当時に掲載されていたものです)
登録情報
- 出版社 : インターシフト; 四六版 (2018/6/18)
- 発売日 : 2018/6/18
- 言語 : 日本語
- 単行本 : 336ページ
- ISBN-10 : 4772695605
- ISBN-13 : 978-4772695602
- 寸法 : 19 x 13 x 2 cm
- Amazon 売れ筋ランキング: - 90,283位本 (の売れ筋ランキングを見る本)
- - 115位情報学・情報科学全般関連書籍
- - 206位人工知能
- - 399位科学読み物 (本)
- カスタマーレビュー:
カスタマーレビュー
5つ星のうち4.2
星5つ中の4.2
25 件のグローバル評価
評価はどのように計算されますか?
全体的な星の評価と星ごとの割合の内訳を計算するために、単純な平均は使用されません。その代わり、レビューの日時がどれだけ新しいかや、レビューアーがAmazonで商品を購入したかどうかなどが考慮されます。また、レビューを分析して信頼性が検証されます。
トップレビュー
上位レビュー、対象国: 日本
レビューのフィルタリング中に問題が発生しました。後でもう一度試してください。
2018年9月21日に日本でレビュー済み
Amazonで購入
ビッグデータが作られる仕組みを知って驚いた。みんなにとって公平だと信じられていたデータは、実はそれを作る人たちの恣意によって歪められていて、私たちはそれを真理だと思っている。これは大変危険で、正当な努力をして実績を残している人がそれに見合う評価をしてもらえなかったりする。ビッグデータを鵜呑みにするだけで、思考が停止してしまっている人間をこれ以上増やさないように、一人でも多くの方にこの本を読んでいただき、目を覚ましてもらいたいと強く思います。
2018年6月21日に日本でレビュー済み
【以下は原著Weapons of Math Destructionのレビューの転載。翻訳版は未読です】
あるシステムの振る舞いについてのデータを分析し、それにフィットする数学的モデルを作り、それによってそのシステムの振る舞いを予測あるいは制御するということは、ニュートンが模範を示して以来確立されてきた近代科学の方法論的パラダイムである。しかし近代科学成立の初期においては、この方法は比較的単純な振る舞いを示すシステムにしか適用できなかった。例えば単純な力学法則に従う物体でも、三体以上が相互に影響を与えあっているようなシステムでは、それらの振る舞いを正確に予測するのは極めて難しいものになりうる。まして気象、社会や人間、経済や政治のような複雑なシステムには、厳密な数学的モデルを適用することは難しかった。しかし統計学の登場によって、より複雑なシステムに数学的モデルを適用して効果的に予測を立てることが可能になった。ただし統計学は、システムの細部の動きを逐一正確に描写するのではなく、システム全体の大雑把な趨勢を捉えることに焦点を当てる。そのことによって大きなシステムのある構成要素が、正確にどのように振る舞うかは予測できなくても、どのくらいの確率でどのように振る舞うかを予測することができるのである。コンピューターの性能が向上し、そしてインターネットとスマートフォンの普及によってコンピューターが利用できる人々の行動データが増大するにつれて、この方法が適用できる範囲が社会の様々な場面に広がっており、またその応用の規模が拡大している。そしてそのことはデータを有効に利用できる人々に莫大な利益をもたらしている。巨大なデータ経済が勃興し、そしてそこでコンピューターに駆動された数学的モデルが猛威を振るっている。
そのような数学的モデルの中には社会に大きな害を与えているものもある。本書の著者キャシー・オニールが「数学的破壊兵器(Weapons of Math Destruction、以下WMD)」と呼ぶのはそのようなモデルである。彼女によればWMDとは、人々を評価する、ランク付けする、分類する、あるいは人々の行動を予測するなどの目的で作られた統計的数学的モデルであり、大規模に使用され、間違っていて、不公正で、有害で、不透明で、自己成就予言的であるといった特徴を持つものである。
本書で紹介されている一例を挙げると、『USニューズ』誌が作成している大学ランキングがある。『USニューズ』誌は1983年から毎年、独自の指標に基づいて大学ランキングを作成し、上位校を発表している。彼らの指標はそもそもハーバードやスタンフォードといった世間から「名門」と考えられている大学が上位にくるようにチューニングされている、と著者は言う。というのもそれらの大学が上位に来ないようなモデルでは正しくないことが明らかだからだ。つまり彼らのモデルには最初から「ハーバード、スタンフォード、プリンストン、イェール等々が最も良い大学だ」という先入観が埋め込まれている。
このようにWMDは一般的に設計者の偏見や先入観を反映する。ある種の現象について数学的モデルを作る時、私たちはその現象のどのような側面が重要なのかを考え、どのようなパラメーターを導入するべきか、そしてそれらにどのように重みづけするかを決定しなければならない。そしてこの決定は個人の意見、あるいはひょっとしたら誤解に基づいている。にも関わらずそのようなモデルは、客観的に測定できる数値を決まったアルゴリズムで計算しているので、人間のバイアスや好みに左右されない客観的なものであるとしばしば主張される。しかし本書の著者によれば、設計者はそのモデルあるいはアルゴリズムに自分のバイアスを埋め込んでいる。そこで宣伝されている客観性は幻想にすぎない。
『USニューズ』のランキングは大学業界に大きな負の影響をもたらしている。多くの大学はこのランキングでの順位を上げるために、そのモデルに対して最適化する努力をするようになった。例えばこのモデルでは入学志願者に対する合格者の割合が少ない方が評価が上がる。大抵の大学には、一定の割合でそこを滑り止めのために受けている受験生がいる。そのためそのような大学では実際に入学が見込まれる数よりも多めの合格者を出すものだ。しかしそのことが合格者の割合を高くさせ、『USニューズ』モデルによる評価を下げることになってしまう。そこで大学の中には、そこを滑り止めのために受けていると思われる成績上位の受験者(したがって別の大学に入学する可能性が高い受験者)を不合格にすることによって合格者の割合を減らしたところもあった。これは受験者にとってもその大学にとっても不幸なことだ。受験生の中には滑り止めで受けた大学が滑り止めにならず、行く大学を失うものがいる。また大学はひょっとしたら獲得できたかもしれない優秀な学生を逃すことになる。もう一つの弊害は学費の高騰である。『USニューズ』のモデルでは学費は評価に影響しない。それはハーバードなどの学費が高額な名門大学がトップに来るようにチューニングされているからである。それゆえ大学ランキングの順位を上げることを優先する大学は、費用をそれほど考慮に入れずに改革を進めることになり、結果として学費の高騰につながるのである。
学生にとっての大学の良さは、そこで学生が何を経験できるか、そこでどれだけ自分に合った教育を受けることができるか、ということに基づいているべきであり、そしてそれゆえに「大学の良さ」は多様でなければならない。単一の尺度ですべての大学を直線的に順位づけるというようなことは、本来、大学を評価する方法として適切ではない。そのような評価があってもいいが、もっと多様な尺度があってしかるべきだし、大学はそのような評価に振り回されるべきではない。しかし現実問題として『USニューズ』の影響は大きく、多くの教員と学生がそれを参考にして行くべき大学を選んでいる。このランキングで上位に位置するということは優秀な教員と学生を引き付けることができるということを意味する。かくしてこのモデルは自己成就し、自らの正当性を高め、そして人々はますますこのランキングを気に掛けざるを得なくなる。
本書の内容からはややはみ出すが、人間や組織を評価するための数学的モデルを作るという営為そのものが包含するバイアスについても私たちは注意を払うべきかもしれない。というのも数学的モデルを作るという決定がすでに、定量化できない価値、コンピューターで処理できるデータの形式に落とせない価値については無視するというある種の重大な価値判断を含んでいるからである。あることを評価する数学的モデルを作るという決定それ自体がバイアスのかかったものなのだ(この点については例えばRobert J. Whelchel, ``Is Technology Neutral?'' IEEE Technology and Society Magazine, Vol. 5(4), Dec. 1986を参照されたい)。科学技術と市場経済を中心にして築かれた社会において、「定量化して評価するべし」というプレッシャーは強く、本来そのような評価がそぐわない領域(教育、行政、医療、芸術、学問など)までも浸食している。
もう一つ本書で取り上げられている別のWMDの例を見てみよう。アメリカの司法システムの中で開発・利用されている再犯予想モデルである。本書では特にLSI-Rというシステムが取り上げられている。これは服役者に対する多数の質問に基づいて、どれだけ再犯のリスクがあるかを見積もるものである。もともとLSI-Rのようなシステムは人間によるバイアスを取り除くことを意図して作られている。人間は知らず知らずのうちに自らが持つ偏見や先入観に強い影響を受ける。それは判事や陪審員という立場に置かれても変わらない。同じような犯罪でも白人より黒人の方が重い判決を受けることが多いということを示す調査もある。こういった人間の持つバイアスの影響を防ぐために、人種など、法廷での判断において考慮されるべきでない要素を組み込まないようにしたのがLSI-Rなどのシステムである。LSI-Rの結果を服役中の再犯防止プログラムのためにのみ利用する州もあるが、中には判事が判決を下す際の参考にするためにこのスコアを利用する州もある。
しかし筆者はこのシステムには問題があると指摘する。LSI-Rの質問の中には例えば「初めて警察と関わったのはいつか」というようなものもあるのだが、著者によればこの質問は不正である。というのも警官は裕福な人々が住む地域よりも貧しい人々が住む地域を重点的に見回り、そして白人より黒人やヒスパニックをはるかに頻繁に呼び止めて職務質問や身体検査をするからだ。このためたとえば未成年飲酒や喧嘩や大麻の所持などの軽い犯罪で捕まる可能性は平等ではない。「初めて警察と関わったのはいつか」というような質問は暗に回答者の生まれや育ち、家族や近隣の環境、人間関係といったことを計算に入れる効果を持つのである。裁判の場ではこういった要素が判決に影響を与えることは認められない。著者が言うように法廷においては「我々は行いによって裁かれるのであり、どんな人間であるかによって裁かれるのではない」(原著 p. 26)。しかしLSI-Rは実質的にそういった要素を、客観性の名のもとに、システマティックに組み込んでいる。
さらにLSI-Rも、『USニューズ』の大学ランキングと同様に、自己成就的な性格を持つ。ある人がLSI-Rによって再犯可能性が高いと判断され、長い刑期を課されたとしよう。彼はより長く社会から隔絶され、より長く他の犯罪者たちに囲まれることになる。そのために彼が刑期を終えたとき、社会に戻って仕事を得ることはより一層難しくなり、そのことは彼が再び犯罪に手を染める可能性を高める。つまりLSI-Rによって再犯可能性が高いと判断されたというまさにそのことが、彼を再び犯罪に走らせる原因になるのである。これは必ずしもLSI-Rだけのせいではなく、刑務所の環境、社会の犯罪者に対する扱いという複雑な要因が絡む問題である。しかし長い刑期が社会復帰をより困難にするということが事実である現状において、このようなモデルの限界と不公正さを認識することは重要である。
WMDは一般的に何らかの傾向や能力を測るためのモデルを作るために、それらの傾向・能力と統計的に相関するパラメーターのセットを利用する。そのパラメーターは測定したい傾向・能力の近似として役に立つ。そのモデルは時には測定対象となる人物について間違った情報を伝え、したがって間違った判断を下す。しかしそれが十分な割合で(すなわちモデルの使用者が利益を得るのに十分な割合で)正しい情報を与える限り、少数の誤判定は無視される。本来、数学的モデルにおいては、予測の検証というプロセスが不可欠である。モデルの精度を高めるためには、予測が当たらなかった事例について綿密な調査を行い、なぜ当たらなかったのかを追求し、モデルを改良しなければならない。しかしながらWMDの目的が正確さや正しさよりも効率である場合、このようなフィードバックのプロセスは取られないかもしれない。またたとえ検証がなされたとしても、裁判のような場で犯罪とは直接関係ない行動や属性を取り上げ、「こういう行動を行う人、こういう属性を持つ人は再犯の可能性が高いから」という理由でより厳しい処罰を与えることは不正である。同じことは人事評価のような場でも言えるだろう。さらには上の例のような自己成就なWMDの場合はその予測が当たったことがWMDが正しいモデルであることを保証しないので、そもそも事後的な検証が意味をなさない可能性もある。
こういった問題をさらに難しくするのがWMDの不透明さである。WMDが下す判断の根拠は必ずしも私たちにとって明らかではない。それはそのメカニズム、アルゴリズムが企業秘密として守られているからということもあるし、あるいはそこで用いられる数式が複雑で理解できないということもある。WMDがやっていることを理解できるのは一部の数学者だけであるが、しかし彼らはその判定に抗議する声に耳を貸したがらない。WMDに抗議できるのは知識や力のあるものだけである。ビッグデータと近年の機械学習がこの状況をさらに悪化させるのは言うまでもない。深層学習など、近年の機械学習のテクニックはしばしば判断をブラックボックス化するということが懸念されている。機械学習を利用したとき、もはやWMDの設計者ですらWMDの判断の理由を説明することはできないのである。
現在のデータ経済においては、情報空間を満たす大量のデータの中から、微妙なパターンを見つけ出して、利用できるものが莫大な富を手にすることができる。それゆえに企業はますます多くの、ますます多種多様なデータを取得することに力を注ぎ、そのデータを活かして利益を上げる方法を探している。もちろんそれらすべてが悪辣なものというわけではない。しかし一部には確実に、倫理的に問題があるもの、あるいは民主主義の基本的理念に反するものがある(それゆえ例えば法学者の山本龍彦は著書『恐ろしいビッグデーターー超類型化AI社会のリスク』(朝日新書、2017)において、貪欲なデータの取得と利用に対抗するために、憲法に定められた権利を武器にすることを提案する)。とはいえ現在のところ、たとえそれが不正なものでも、弱者やマイノリティを食い物にすることによって成り立っているものでも、多くは従来の規制や法の手の届かないところにある。現在の状況は、産業革命の後、企業が労働者や環境を濫用することで利益を得ていた時代のようなものだ、と著者は考えている。私たちの社会は少しずつその状況を改善して、企業活動に規制を課し、人々が不当な不利益を被ることがないようにしてきた。それゆえ著者はWMDに関しても何らかの監査や規制を設け、「取り締まり、手なずけ、非武装化する」(原著 p. 218)ことを提案している。データに基づいた数学的モデルはこれからもますます利用されていくだろう。その流れをとめることはできない。しかしそれらは一部の人たちの利益のために多くの人を犠牲にするような使い方ではなく、社会を安全にするために、苦しんでいる人々を救うためにも利用できる。しかしそのためには現在のように野放しに使われていてはいけない。
「数学的モデルは私たちの道具であるべきで、主人であるべきではない」(原著 p. 207)と著者はいう。もともとが数学者であった著者は、数学的モデルの濫用を嘆き、それがよりよい仕方で使われるように訴えている。そして「数学はWMDよりもずっと良いものに値するし、民主主義も同様である」(原著 p. 218)という言葉で本書を締めくくっている
あるシステムの振る舞いについてのデータを分析し、それにフィットする数学的モデルを作り、それによってそのシステムの振る舞いを予測あるいは制御するということは、ニュートンが模範を示して以来確立されてきた近代科学の方法論的パラダイムである。しかし近代科学成立の初期においては、この方法は比較的単純な振る舞いを示すシステムにしか適用できなかった。例えば単純な力学法則に従う物体でも、三体以上が相互に影響を与えあっているようなシステムでは、それらの振る舞いを正確に予測するのは極めて難しいものになりうる。まして気象、社会や人間、経済や政治のような複雑なシステムには、厳密な数学的モデルを適用することは難しかった。しかし統計学の登場によって、より複雑なシステムに数学的モデルを適用して効果的に予測を立てることが可能になった。ただし統計学は、システムの細部の動きを逐一正確に描写するのではなく、システム全体の大雑把な趨勢を捉えることに焦点を当てる。そのことによって大きなシステムのある構成要素が、正確にどのように振る舞うかは予測できなくても、どのくらいの確率でどのように振る舞うかを予測することができるのである。コンピューターの性能が向上し、そしてインターネットとスマートフォンの普及によってコンピューターが利用できる人々の行動データが増大するにつれて、この方法が適用できる範囲が社会の様々な場面に広がっており、またその応用の規模が拡大している。そしてそのことはデータを有効に利用できる人々に莫大な利益をもたらしている。巨大なデータ経済が勃興し、そしてそこでコンピューターに駆動された数学的モデルが猛威を振るっている。
そのような数学的モデルの中には社会に大きな害を与えているものもある。本書の著者キャシー・オニールが「数学的破壊兵器(Weapons of Math Destruction、以下WMD)」と呼ぶのはそのようなモデルである。彼女によればWMDとは、人々を評価する、ランク付けする、分類する、あるいは人々の行動を予測するなどの目的で作られた統計的数学的モデルであり、大規模に使用され、間違っていて、不公正で、有害で、不透明で、自己成就予言的であるといった特徴を持つものである。
本書で紹介されている一例を挙げると、『USニューズ』誌が作成している大学ランキングがある。『USニューズ』誌は1983年から毎年、独自の指標に基づいて大学ランキングを作成し、上位校を発表している。彼らの指標はそもそもハーバードやスタンフォードといった世間から「名門」と考えられている大学が上位にくるようにチューニングされている、と著者は言う。というのもそれらの大学が上位に来ないようなモデルでは正しくないことが明らかだからだ。つまり彼らのモデルには最初から「ハーバード、スタンフォード、プリンストン、イェール等々が最も良い大学だ」という先入観が埋め込まれている。
このようにWMDは一般的に設計者の偏見や先入観を反映する。ある種の現象について数学的モデルを作る時、私たちはその現象のどのような側面が重要なのかを考え、どのようなパラメーターを導入するべきか、そしてそれらにどのように重みづけするかを決定しなければならない。そしてこの決定は個人の意見、あるいはひょっとしたら誤解に基づいている。にも関わらずそのようなモデルは、客観的に測定できる数値を決まったアルゴリズムで計算しているので、人間のバイアスや好みに左右されない客観的なものであるとしばしば主張される。しかし本書の著者によれば、設計者はそのモデルあるいはアルゴリズムに自分のバイアスを埋め込んでいる。そこで宣伝されている客観性は幻想にすぎない。
『USニューズ』のランキングは大学業界に大きな負の影響をもたらしている。多くの大学はこのランキングでの順位を上げるために、そのモデルに対して最適化する努力をするようになった。例えばこのモデルでは入学志願者に対する合格者の割合が少ない方が評価が上がる。大抵の大学には、一定の割合でそこを滑り止めのために受けている受験生がいる。そのためそのような大学では実際に入学が見込まれる数よりも多めの合格者を出すものだ。しかしそのことが合格者の割合を高くさせ、『USニューズ』モデルによる評価を下げることになってしまう。そこで大学の中には、そこを滑り止めのために受けていると思われる成績上位の受験者(したがって別の大学に入学する可能性が高い受験者)を不合格にすることによって合格者の割合を減らしたところもあった。これは受験者にとってもその大学にとっても不幸なことだ。受験生の中には滑り止めで受けた大学が滑り止めにならず、行く大学を失うものがいる。また大学はひょっとしたら獲得できたかもしれない優秀な学生を逃すことになる。もう一つの弊害は学費の高騰である。『USニューズ』のモデルでは学費は評価に影響しない。それはハーバードなどの学費が高額な名門大学がトップに来るようにチューニングされているからである。それゆえ大学ランキングの順位を上げることを優先する大学は、費用をそれほど考慮に入れずに改革を進めることになり、結果として学費の高騰につながるのである。
学生にとっての大学の良さは、そこで学生が何を経験できるか、そこでどれだけ自分に合った教育を受けることができるか、ということに基づいているべきであり、そしてそれゆえに「大学の良さ」は多様でなければならない。単一の尺度ですべての大学を直線的に順位づけるというようなことは、本来、大学を評価する方法として適切ではない。そのような評価があってもいいが、もっと多様な尺度があってしかるべきだし、大学はそのような評価に振り回されるべきではない。しかし現実問題として『USニューズ』の影響は大きく、多くの教員と学生がそれを参考にして行くべき大学を選んでいる。このランキングで上位に位置するということは優秀な教員と学生を引き付けることができるということを意味する。かくしてこのモデルは自己成就し、自らの正当性を高め、そして人々はますますこのランキングを気に掛けざるを得なくなる。
本書の内容からはややはみ出すが、人間や組織を評価するための数学的モデルを作るという営為そのものが包含するバイアスについても私たちは注意を払うべきかもしれない。というのも数学的モデルを作るという決定がすでに、定量化できない価値、コンピューターで処理できるデータの形式に落とせない価値については無視するというある種の重大な価値判断を含んでいるからである。あることを評価する数学的モデルを作るという決定それ自体がバイアスのかかったものなのだ(この点については例えばRobert J. Whelchel, ``Is Technology Neutral?'' IEEE Technology and Society Magazine, Vol. 5(4), Dec. 1986を参照されたい)。科学技術と市場経済を中心にして築かれた社会において、「定量化して評価するべし」というプレッシャーは強く、本来そのような評価がそぐわない領域(教育、行政、医療、芸術、学問など)までも浸食している。
もう一つ本書で取り上げられている別のWMDの例を見てみよう。アメリカの司法システムの中で開発・利用されている再犯予想モデルである。本書では特にLSI-Rというシステムが取り上げられている。これは服役者に対する多数の質問に基づいて、どれだけ再犯のリスクがあるかを見積もるものである。もともとLSI-Rのようなシステムは人間によるバイアスを取り除くことを意図して作られている。人間は知らず知らずのうちに自らが持つ偏見や先入観に強い影響を受ける。それは判事や陪審員という立場に置かれても変わらない。同じような犯罪でも白人より黒人の方が重い判決を受けることが多いということを示す調査もある。こういった人間の持つバイアスの影響を防ぐために、人種など、法廷での判断において考慮されるべきでない要素を組み込まないようにしたのがLSI-Rなどのシステムである。LSI-Rの結果を服役中の再犯防止プログラムのためにのみ利用する州もあるが、中には判事が判決を下す際の参考にするためにこのスコアを利用する州もある。
しかし筆者はこのシステムには問題があると指摘する。LSI-Rの質問の中には例えば「初めて警察と関わったのはいつか」というようなものもあるのだが、著者によればこの質問は不正である。というのも警官は裕福な人々が住む地域よりも貧しい人々が住む地域を重点的に見回り、そして白人より黒人やヒスパニックをはるかに頻繁に呼び止めて職務質問や身体検査をするからだ。このためたとえば未成年飲酒や喧嘩や大麻の所持などの軽い犯罪で捕まる可能性は平等ではない。「初めて警察と関わったのはいつか」というような質問は暗に回答者の生まれや育ち、家族や近隣の環境、人間関係といったことを計算に入れる効果を持つのである。裁判の場ではこういった要素が判決に影響を与えることは認められない。著者が言うように法廷においては「我々は行いによって裁かれるのであり、どんな人間であるかによって裁かれるのではない」(原著 p. 26)。しかしLSI-Rは実質的にそういった要素を、客観性の名のもとに、システマティックに組み込んでいる。
さらにLSI-Rも、『USニューズ』の大学ランキングと同様に、自己成就的な性格を持つ。ある人がLSI-Rによって再犯可能性が高いと判断され、長い刑期を課されたとしよう。彼はより長く社会から隔絶され、より長く他の犯罪者たちに囲まれることになる。そのために彼が刑期を終えたとき、社会に戻って仕事を得ることはより一層難しくなり、そのことは彼が再び犯罪に手を染める可能性を高める。つまりLSI-Rによって再犯可能性が高いと判断されたというまさにそのことが、彼を再び犯罪に走らせる原因になるのである。これは必ずしもLSI-Rだけのせいではなく、刑務所の環境、社会の犯罪者に対する扱いという複雑な要因が絡む問題である。しかし長い刑期が社会復帰をより困難にするということが事実である現状において、このようなモデルの限界と不公正さを認識することは重要である。
WMDは一般的に何らかの傾向や能力を測るためのモデルを作るために、それらの傾向・能力と統計的に相関するパラメーターのセットを利用する。そのパラメーターは測定したい傾向・能力の近似として役に立つ。そのモデルは時には測定対象となる人物について間違った情報を伝え、したがって間違った判断を下す。しかしそれが十分な割合で(すなわちモデルの使用者が利益を得るのに十分な割合で)正しい情報を与える限り、少数の誤判定は無視される。本来、数学的モデルにおいては、予測の検証というプロセスが不可欠である。モデルの精度を高めるためには、予測が当たらなかった事例について綿密な調査を行い、なぜ当たらなかったのかを追求し、モデルを改良しなければならない。しかしながらWMDの目的が正確さや正しさよりも効率である場合、このようなフィードバックのプロセスは取られないかもしれない。またたとえ検証がなされたとしても、裁判のような場で犯罪とは直接関係ない行動や属性を取り上げ、「こういう行動を行う人、こういう属性を持つ人は再犯の可能性が高いから」という理由でより厳しい処罰を与えることは不正である。同じことは人事評価のような場でも言えるだろう。さらには上の例のような自己成就なWMDの場合はその予測が当たったことがWMDが正しいモデルであることを保証しないので、そもそも事後的な検証が意味をなさない可能性もある。
こういった問題をさらに難しくするのがWMDの不透明さである。WMDが下す判断の根拠は必ずしも私たちにとって明らかではない。それはそのメカニズム、アルゴリズムが企業秘密として守られているからということもあるし、あるいはそこで用いられる数式が複雑で理解できないということもある。WMDがやっていることを理解できるのは一部の数学者だけであるが、しかし彼らはその判定に抗議する声に耳を貸したがらない。WMDに抗議できるのは知識や力のあるものだけである。ビッグデータと近年の機械学習がこの状況をさらに悪化させるのは言うまでもない。深層学習など、近年の機械学習のテクニックはしばしば判断をブラックボックス化するということが懸念されている。機械学習を利用したとき、もはやWMDの設計者ですらWMDの判断の理由を説明することはできないのである。
現在のデータ経済においては、情報空間を満たす大量のデータの中から、微妙なパターンを見つけ出して、利用できるものが莫大な富を手にすることができる。それゆえに企業はますます多くの、ますます多種多様なデータを取得することに力を注ぎ、そのデータを活かして利益を上げる方法を探している。もちろんそれらすべてが悪辣なものというわけではない。しかし一部には確実に、倫理的に問題があるもの、あるいは民主主義の基本的理念に反するものがある(それゆえ例えば法学者の山本龍彦は著書『恐ろしいビッグデーターー超類型化AI社会のリスク』(朝日新書、2017)において、貪欲なデータの取得と利用に対抗するために、憲法に定められた権利を武器にすることを提案する)。とはいえ現在のところ、たとえそれが不正なものでも、弱者やマイノリティを食い物にすることによって成り立っているものでも、多くは従来の規制や法の手の届かないところにある。現在の状況は、産業革命の後、企業が労働者や環境を濫用することで利益を得ていた時代のようなものだ、と著者は考えている。私たちの社会は少しずつその状況を改善して、企業活動に規制を課し、人々が不当な不利益を被ることがないようにしてきた。それゆえ著者はWMDに関しても何らかの監査や規制を設け、「取り締まり、手なずけ、非武装化する」(原著 p. 218)ことを提案している。データに基づいた数学的モデルはこれからもますます利用されていくだろう。その流れをとめることはできない。しかしそれらは一部の人たちの利益のために多くの人を犠牲にするような使い方ではなく、社会を安全にするために、苦しんでいる人々を救うためにも利用できる。しかしそのためには現在のように野放しに使われていてはいけない。
「数学的モデルは私たちの道具であるべきで、主人であるべきではない」(原著 p. 207)と著者はいう。もともとが数学者であった著者は、数学的モデルの濫用を嘆き、それがよりよい仕方で使われるように訴えている。そして「数学はWMDよりもずっと良いものに値するし、民主主義も同様である」(原著 p. 218)という言葉で本書を締めくくっている
2020年5月6日に日本でレビュー済み
最近再び(?)AIが取り沙汰されているが、そのアーキテクチャが飛躍的に進化したわけではなく、
計算速度やサンプルとなるデータ量が増えた結果、数値の精度が高まったくらいの印象しかない。
ただ、将来的にはAI自身が新たなアーキテクチャを見つけ出し、
統計知識に長け、倫理観のある「適切」な教師され居れば、
AIは社会にとってポジティブなものになるだろうと私自身は考えていた。
しかし、本書でその期待は砕かれた。
AIは偏見を持つ人の介在を極力減らし、公平性に大きく貢献するものと考えていたが、
どうやらそうでもないらしい。(サンプルが悪いだけというシンプルな話では無い)
本書では具体的な事例を元に、数学大量兵器の下記要素からその罠を論じている。
・不透明
・規模拡大
・有害
計算速度やサンプルとなるデータ量が増えた結果、数値の精度が高まったくらいの印象しかない。
ただ、将来的にはAI自身が新たなアーキテクチャを見つけ出し、
統計知識に長け、倫理観のある「適切」な教師され居れば、
AIは社会にとってポジティブなものになるだろうと私自身は考えていた。
しかし、本書でその期待は砕かれた。
AIは偏見を持つ人の介在を極力減らし、公平性に大きく貢献するものと考えていたが、
どうやらそうでもないらしい。(サンプルが悪いだけというシンプルな話では無い)
本書では具体的な事例を元に、数学大量兵器の下記要素からその罠を論じている。
・不透明
・規模拡大
・有害
2019年12月16日に日本でレビュー済み
著者は、データサイエンティストのキャシー・オニールさん。ハーバード大学で数学の博士号を取得し、バーナードカレッジ教授を経て、ヘッジファンドに転職。数学の能力を活かし成果を上げるが、サブプライム・ローン問題を目の当たりにして、数学がもつ破壊力に気づく。
本書では、正しく数学を使っているにも関わらず、有害なモデルを作り出す仕組みを「数学破壊兵器(Weapons of Math Destruction:WMD)」と呼ぶ。大量破壊兵器のMassと数学のMathをかけているのは、オニールさんのユーモアだ。
現在のAIは公平性を理解できない。AIに学習させるための数理モデルを誤れば、AIが出力する結果も偏ったものになる。また、定量化できない人間的スキルも評価されない。
それでも大量のデータを瞬時に処理するAIが役に立つ場面は多い。私たちは、AIがツールであることを認識し、常に必要なデータを与えて有効活用することで、だれにも公平で豊かな生活がやって来ることを目指すべきであろう。
本書では、正しく数学を使っているにも関わらず、有害なモデルを作り出す仕組みを「数学破壊兵器(Weapons of Math Destruction:WMD)」と呼ぶ。大量破壊兵器のMassと数学のMathをかけているのは、オニールさんのユーモアだ。
現在のAIは公平性を理解できない。AIに学習させるための数理モデルを誤れば、AIが出力する結果も偏ったものになる。また、定量化できない人間的スキルも評価されない。
それでも大量のデータを瞬時に処理するAIが役に立つ場面は多い。私たちは、AIがツールであることを認識し、常に必要なデータを与えて有効活用することで、だれにも公平で豊かな生活がやって来ることを目指すべきであろう。
ベスト500レビュアー
筆者の経歴を見ると、本書の信頼度は高まる。ハーバードで数学を学び、教職を経て企業に転職し、その数学の知識を大手ヘッジファンドで活かすが、リーマンショックを経て現実に気づき、データ・サイエンティストとしてeコマースのスタートアップなどの実業を経験し、ウォール街に対する抗議運動に参加している。金融工学とデータ・サイエンティストの2つの分野を経験することが、テクノロジーと文化の両面に造詣が深くなったという。
筆者が云う、「数学破壊兵器」(Weapons of Math Destruction)とは、Weapons of Mass Destructionと掛けた造語であるが、本書の至る所で登場する。それは、同姓同名者を取り違えることや、クレジット・レコードの瑕疵によって謂れのない不利益を被ったり、モデルの作り方の中に人種の要因など不適切な要素を含めることによって大量に(謂れなき)不幸な人々をつくり出してしまう社会的な恐怖、不都合な真実を詳細に解説している。
AIやビッグデータ分析で様々なことが出来る(或いは出来そうな)便利な時代になって来ているが、その裏側をしっかりと理解しておかないと社会の利益とは相反することになりかねないということを我々は知っておく必要がある。
筆者が云う、「数学破壊兵器」(Weapons of Math Destruction)とは、Weapons of Mass Destructionと掛けた造語であるが、本書の至る所で登場する。それは、同姓同名者を取り違えることや、クレジット・レコードの瑕疵によって謂れのない不利益を被ったり、モデルの作り方の中に人種の要因など不適切な要素を含めることによって大量に(謂れなき)不幸な人々をつくり出してしまう社会的な恐怖、不都合な真実を詳細に解説している。
AIやビッグデータ分析で様々なことが出来る(或いは出来そうな)便利な時代になって来ているが、その裏側をしっかりと理解しておかないと社会の利益とは相反することになりかねないということを我々は知っておく必要がある。
VINEメンバー
著者はコロンビア大学の数学の教授→ヘッジファンドのクオンツ(高度な数学的手法で分析・予測を行う金融工学の専門家)→2008年秋にリーマンショックに遭遇→数学破壊兵器(Weapons of Math Destruction:WDA)について良く知ってもらうためのブログを開設、二児の母、という異色の経歴の持ち主だ。おかげで、わかりやすく、現在のアメリカ社会で起きていることを、教育、就職、健康などのテーマに分けて語っている。
著者がもっとも訴えたいことは、数学破壊兵器には気を付けて、不公正、非人道的なシステムがまかりとおることがないように注意深く見ておかなくてはならないということだ。この数学破壊兵器にかかれば、不合理な選別や、貧困者への甘い罠が以前の何十倍もの効率で行われるようになり、富めるものはますます富み、貧しいものは、ますまる飢えるという結果は見えてるのである。たとえば、営利大学(教育をほどこすよりも、対象者からいかにお金を引き出すかが主目的の大学)の話など、いかにもありそうだ。
できれば、個人情報に意識の高い日本で、もっとより良い仕組みがつくれますように。
著者がもっとも訴えたいことは、数学破壊兵器には気を付けて、不公正、非人道的なシステムがまかりとおることがないように注意深く見ておかなくてはならないということだ。この数学破壊兵器にかかれば、不合理な選別や、貧困者への甘い罠が以前の何十倍もの効率で行われるようになり、富めるものはますます富み、貧しいものは、ますまる飢えるという結果は見えてるのである。たとえば、営利大学(教育をほどこすよりも、対象者からいかにお金を引き出すかが主目的の大学)の話など、いかにもありそうだ。
できれば、個人情報に意識の高い日本で、もっとより良い仕組みがつくれますように。
2018年10月2日に日本でレビュー済み
ビッグデータが誤用・悪用されると、社会と多くの人に
甚大な被害を与えることは分かった。誤用・悪用を防ぐには、
十分な注意が必要だろう。
しかし、例えば天気予報の場合は、AIが晴天と予測したのに
大雨が降ったら、AIの予測ミスだと誰にも分かるだろう。その
場合は、データの質や量を改善すれば、精度の高い予測に改めて
いくことができる。
AIとビッグデータには、「人間技」ではできないことを実現
できる無限の可能性があると思っている。マイナス面ばかり強調せず、
AIとビッグデータがもたらし得る明るい未来像も描いてほしかった。
甚大な被害を与えることは分かった。誤用・悪用を防ぐには、
十分な注意が必要だろう。
しかし、例えば天気予報の場合は、AIが晴天と予測したのに
大雨が降ったら、AIの予測ミスだと誰にも分かるだろう。その
場合は、データの質や量を改善すれば、精度の高い予測に改めて
いくことができる。
AIとビッグデータには、「人間技」ではできないことを実現
できる無限の可能性があると思っている。マイナス面ばかり強調せず、
AIとビッグデータがもたらし得る明るい未来像も描いてほしかった。









