Are University Admissions Biased? | Simpson's Paradox Part 2 動画 YouTube
https://www.youtube.com/watch?v=E_ME4P9fQbo
Simpson's Paradox
シンプソンのパラドックス 高校数学の美しい物語
シンプソンのパラドックスを理解するためには具体例が一番です。
例
数学のテストの点数を高校Aと高校Bで比較する。
高校Aは理系90人（平均80点），文系10人（平均60点）
高校Bは理系10人（平均90点），文系90人（平均70点）
どちらの学校が数学に強いと言えるか？
https://mathtrain.jp/simparadox
『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』 キャシー・オニール／著, 久保尚子／訳 インターシフト 2018年発行
推測のうえに推測を重ねて より
1983年、レーガン政権は米国の学校の状況について恐ろしい警告を発した。『危機に立つ国家（A Nation at Risk）』と称される報告書のなかで、大統領の指紋委員会は、学校教育における「凡庸性の台頭」、すなわち、優位性の喪失が「国家と国民の未来」を脅かしていると警告したのだ。この報告書ではさらに、「非友好的な外国の力」によって質の低い学校教育を強要されているのだとしたら、「私たちはそれを戦争行為とみなす可能性がある」とも述べている。
衰退の兆候のなかでも特筆すべきは、SATスコアの急落だった。1963〜80年のあいだに、言語能力のスコアは50点低下し、数学のスコアは40点低下した。世界経済における競争力はスキルに左右されるものだが、どうも、そのスキルが低下している様子だ。
この残念な状況を生んだ責任は誰にあったのか？ 報告書はその点を明確にしていた。責任は教師にあると。『危機に立つ国家』では、直ちに対策を講じる必要があるとされていたが、それはつまり、学生に試験を受けさせ、その結果に基づき、業績の低い教師を追い出すということだった。
・
何年か前のこと、教師歴26年のクリフォードは、「付加価値モデル」と呼ばれる教師評価モデルで自分が解雇の標的にされたことを知った。ワシントンで働く教師のサラ・ウィソッキーを解雇に追いやったものとよく似たモデルである。クリフォードのスコアは、100点満点中6点という最悪の結果だった。
彼は衝撃を受けたようで、「あんなに懸命に働いて、こんな悪い結果が出るなんてことがどうして起こるのか、さっぱりわかりませんでした」と、のちに私に語っている。「正直なところ、最初にスコアを知った時、恥ずかしくて、しばらく誰にも話せませんでした。ところが、僕よりスコアの低い教師が同じ学校に2人いると知ったのです。それで僕も周りに打ち明ける気になりました。その2人に、君たちだけじゃないと知らせたかったのです」
・
付加価値モデルはクリフォードに落第点をつけたが、改善方法については何のアドバイスもなかった。そのため、彼はこれまでどうりの教え方を続け、うまくいくように願った。翌年、彼の評価スコアは90点だった。
「喜んだとお思いかもしれませんが、うれしくありませんでした。僕は前年の低いスコアがデタラメであることを知っていましたから、同じ評価方法で高いスコアが出ても、ちっとも喜べませんでした。スコアに90％もの差が出るなんて、教育の成果を付加価値モデルで評価することがいかに馬鹿げたことかを痛感させられました」
そう、まさに「デタラメ」である。実のところ、教師の実績評価には、最初から最後まで解釈の誤った統計学が用いられていた。問題の発端は、そもそもの『危機に立つ国家』レポートの分析に大量の統計学的ミスが含まれていたことにある。国家の破滅的状況を非難していた当の研究者らが、根本的なところで思い違いをし、その思い違いに基づいて判断を下していたのだ。学部生が犯すような誤りだった。米国の教育の欠点を並べ立てたいのなら、最初に自分たちの統計解釈の誤りをあげつらうべきだろう。
『危機に立つ国家』が刊行された7年後、サンディア国立研究所の研究者らが、この報告書に使用されたデータを再調査した。彼らは、核兵器の組み立てとメンテナンスを任されるような統計学のプロだった。そして、この報告者の誤りにすぐに気づいた。確かに、SATスコアの平均点は低下していたが、SAT試験を受ける学生の数は、過去17年間で急激に増えていた。大学は、貧しい学生やマイノリティの学生にも門戸を広く開くようになったのだ。教育の機会は拡大していた。これは、社会にとって成功である。当然、このような新参者の流入は、平均スコアを引き下げる。それでも、対象集団を所得層ごとに分けて分析すれば、貧困層から富裕層まで、すべての層でスコアは上昇している。
統計学の世界では、このような現象は「シンプソンのパラドックス」として知られれいる。データ全体を分析した時にある傾向が見られても、サブグループに分けて分析してみると、それとは逆の傾向が見られる現象である。『危機に立つ国家』レポートの手厳しい結論は、教師の業績を評価しようという全体の動きに拍車をかけたが、質は重大な解釈ミスから引き出された結論だった。
