필사 모드: ダニング=クルーガー効果 — あの有名なグラフは元論文に存在しません

はじめに — あなたが見たあのグラフは論文にありません

一度は見たことがあるはずの図があります。横軸は経験、縦軸は自信。曲線は初心者の区間で急激に跳ね上がって「愚かさの山」をつくり、「絶望の谷」へ真っ逆さまに落ち、ずいぶん経ってからようやく緩やかな高原にたどり着きます。キャプションにはいつも同じ名前が付いています。ダニング=クルーガー効果、と。

あの曲線は元論文にありません。山も、谷も、高原もありません。あの図はいつのころかインターネット上でつくられ、論文の名札を付けて流通したものであって、1999年の論文に載っている図はもっとずっと地味な見た目をしています。そして地味な原本と派手な複製とのあいだの距離が、今回の内容のすべてです。

論文で読む心理学シリーズのルールどおり、まず元論文が実際に何をしたのかから見ていきます。そのあとでこの効果に向けられた最も痛い批判、つまり何の意味もない乱数でも同じグラフが出てくるという指摘をたどり、それでも残るものを数えます。

1999年の論文が実際にしたこと — コーネル大学の学部生、ユーモアと論理と文法

ジャスティン・クルーガー（Justin Kruger）とデイヴィッド・ダニング（David Dunning）の1999年 Journal of Personality and Social Psychology 論文は、4つの研究から成っています。参加者はすべてコーネル大学の心理学の授業を受けている学部生でした。

• 研究1（ユーモア）: 30個のジョークがどれくらい面白いかを評定させ、プロのコメディアン8人の評定を正解の基準としました。参加者65人。
• 研究2（論理的推論）: LSAT型の論理問題20問。参加者45人。
• 研究3（文法）: 標準化された英文法の問題。参加者84人。
• 研究4（再訓練）: 論理課題を受けたあと、一部の人に短い論理トレーニングを行い、自己評価をもう一度取りました。参加者140人。

手続きの核心は、テストのあとに投げかける質問です。「あなたの能力と今日の成績は、コーネルの同級生のなかでパーセンタイル何位くらいだと思いますか」。そして実際の成績で参加者を四等分し、四分位ごとの平均自己評価と平均実際成績を並べて描きました。この図が論文の代表的な図表です。横軸は経験ではなく成績の四分位であり、線は2本で、山はありません。

実際の結果は「無能な人の過信」とは少し違います

文法課題（研究3）のおおよその値を表に移すとこうなります。

ここで2つのことが目に入ります。第一に、自己評価の線は四分位をまたいでほぼ平らです。実際の成績がパーセンタイル10から89まで8倍近く開いていくあいだ、自己推定は60台半ばから70台前半のあいだを行き来するだけです。つまりデータが語っているのは「無能な人だけが自分を過大評価する」よりも、ほぼ全員が自分を平均より少し上に見積もっているという方にはるかに近いのです。

第二に、一般向けの要約でほとんど言及されない事実があります。上位25パーセントは自分をパーセンタイルで15から20ほど過小評価していました。クルーガーとダニング本人たちもこの部分を論文で扱っており、よくできる人は課題が自分にとって易しかったので他人も同じくらいできただろうと仮定する、という説明（誤った合意）を添えています。論文の2本の線が右端で交差する理由がこれです。

この時点ですでに一般向けの版は2か所を間違えています。グラフの形と、上位層についての結論です。

最も痛い反論 — 乱数でも同じグラフが描けます

本当の問題はそのあとです。自己評価の点数と実際の成績を互いに何の関係もない乱数として生成したうえで、実際の成績で四分位に分け、各グループの平均を描いてみてください。驚くことに、論文とまったく同じ形の交差図が出てきます。2つの力が重なるからです。

第一は平均への回帰です。下位四分位は「能力が低い人」だけが集まった場所ではなく、「その日は運が悪かった人」まで混じっている場所です。この人たちを別の測定値（自己評価）で見直すと、平均のほうへ戻ってきます。上位四分位は逆方向へ戻ります。四分位を実際の成績で分けたその瞬間に、2本の線の交差は自動的に予約されるのです。

第二は平均以上効果と測定誤差です。人々の自己評価はおおむね真ん中より少し上に集まっていて、実際の能力との相関はそれほど高くありません。すると自己評価の線はどの四分位でも平らになります。平らな線と急な線を重ねればXの字になります。

この指摘を最初に体系的に提起したのは、ヨアヒム・クルーガー（Joachim Krueger）とロス・ミュラー（Ross Mueller）の2002年の論文です。彼らは測定信頼性を補正し回帰効果を統制すると、ダニング=クルーガーのパターンが大きく縮むと報告しました。その後エドワード・ヌーファー（Edward Nuhfer）の研究チームは、2016年と2017年の Numeracy 論文でこの論証を図で決定づけました。純粋な乱数シミュレーションが教科書に載っているものと区別のつかないグラフをつくり出し、1,000人を超える実際の回答データを四分位平均ではなく個人ごとの散布図で描くと、まったく違う絵、つまり大多数は自分の実力をかなり正確に分かっていて、ひどい過大評価者は少数だという絵が現れたのです。ヌーファーのチームの結論は痛烈です。錯覚をつくったのは人の心ではなく、グラフを描く慣行のほうだった、というわけです。

2020年の再分析 — 929人、そして残った残余

ここまでの整理を最もきれいに検証したのが、ジル・ジニャック（Gilles Gignac）とマルチン・ザイェンコフスキ（Marcin Zajenkowski）の2020年 Intelligence 論文です。標本は929人。客観的な知能検査の点数と自己評価による知能をあわせて測定したうえで、四分位平均のグラフを一切使わず、個人水準のデータで2つを検定しました。ひとつは非線形（二次項）回帰、もうひとつは不均一分散の検定です。ダニング=クルーガー仮説が正しければ、能力が低い区間で自己評価の誤差が体系的に大きくなるはずですから。

結果はこうです。自己評価と実際の知能の相関は約0.28で明確な正の関係であり、非線形項は実質的に無意味でした。不均一分散の検定にだけごく小さな痕跡、つまり能力が低いほど自己評価の誤差の幅が少し広い、というものが残りました。論文のタイトルが結論をそのまま述べています。おおむね統計的人工物だ、ということです。

ここにもうひとつ。キャサリン・バーソン（Katherine Burson）、リチャード・ラリック（Richard Larrick）、ジョシュア・クレイマン（Joshua Klayman）の2006年の研究は、課題の難易度を操作するとパターンが逆転することを示しました。易しい課題では下位層が大きく過大評価しますが、難しい課題ではむしろ上位層が自分をより強く過小評価します。誤差の方向を決めるのは人の無能さではなく課題の難易度でした。

インターネットの皮肉 — 武器になった効果

この効果がオンラインで使われる用例は、ほとんどひとつに収束します。相手をこき下ろすことです。「まさにダニング=クルーガーだね」と。

この文を書く人は3つのことを同時にしています。元論文にないグラフを引用し、自分の判断の正確さは検定せず、論文の実際の結論が「どういう種類の人か」ではなく「誰にでもある死角」についてのものだという点を取り逃がしています。ダニング本人もその後の複数の文章やインタビューで、この効果は他人に貼るラベルではなく自己点検の道具だと繰り返し述べています。

数百件の引用が積み上がったからといって主張が頑丈になるわけではないという話は、自我消耗の回ですでに一度しました。ダニング=クルーガーの場合は少し違います。文献が膨らまされたのではなく、論文を読んでいない要約のほうが原本よりはるかに広く広まった事例なのです。

では捨てるものと持ち帰るもの

捨てるもの：山と谷のあるあの曲線。そして「無能なほど自信にあふれる」という人物論。前者は出典がなく、後者は四分位平均という描き方がかなりの部分つくり出した絵です。特定の人物や集団にこの名前を貼る用法は、元論文でさえ支持していません。

持ち帰るもの1 — 自己評価は能力ではなく構造の関数です。バーソンの研究チームが示したとおり、難易度が変われば誤差の方向が変わり、フィードバックが即時的で具体的であるほど自己評価は正確になります。ですから実務でやるべきことは、人の自信を論評することではなく、フィードバックの周期を短くすることです。意識的な練習の本当の条件で即時フィードバックを核心要件に挙げた理由でもあります。

持ち帰るもの2 — 元論文の研究4はいまも有効です。下位層の参加者に短い論理トレーニングを行うと、成績が上がっただけでなく、自己評価の正確さも一緒に上がりました。この設計もまた回帰効果から完全に自由なわけではありませんが、少なくとも四分位グラフの錯覚とは別種の証拠です。知らないことを知らないと気づく力は、訓練の副産物としてついてきます。

持ち帰るもの3 — 集団を極端値で分けてから平均を比べる図は、ひとまず疑ってください。成績下位20パーセントを選んで教育したら向上したという社内報告書、最悪の月を基準に改善幅を測るダッシュボードは、すべて同じ罠の上にあります。ダニング=クルーガー論争が残した最も実用的な遺産は、心理学ではなくこの統計感覚のほうにあります。

原文リーディングガイド

• 元論文: Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: How difficulties in recognizing one's own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121-1134.
• 統計的反論: Krueger, J., & Mueller, R. A. (2002). Unskilled, unaware, or both? The better-than-average heuristic and statistical regression predict errors in estimates of own performance. Journal of Personality and Social Psychology, 82(2), 180-188.
• 難易度効果: Burson, K. A., Larrick, R. P., & Klayman, J. (2006). Skilled or unskilled, but still unaware of it: How perceptions of difficulty drive miscalibration in relative comparisons. Journal of Personality and Social Psychology, 90(1), 60-77.
• 乱数シミュレーション: Nuhfer, E., Fleisher, S., Cogan, C., Wirth, K., & Gaze, E. (2017). How random noise and a graphical convention subverted behavioral scientists' explanations of self-assessment data: Numeracy underlies better alternatives. Numeracy, 10(1), Article 4.
• 再分析: Gignac, G. E., & Zajenkowski, M. (2020). The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches to testing the hypothesis with individual differences data. Intelligence, 80, 101449.

読むコツ: 1999年の論文は本文よりも Figure 1（ユーモア課題）と Figure 3（文法課題）を先に見てください。自己評価の線がどれほど平らか、そして右端で2本の線がどう反転するかが30秒で頭に入ります。そのあと Nuhfer 2017 の乱数シミュレーションの図を並べて見れば、論争のすべてが理解できます。Gignac and Zajenkowski 2020 は、四分位平均ではなく個人の散布図を提示した図がハイライトです。