Skip to content
Published on

邓宁-克鲁格效应 — 那张著名的曲线图并不在原论文里

分享
Authors

引子 — 你见过的那张图并不在论文里

有一张图你多半见过。横轴是经验,纵轴是自信。曲线在新手区间陡峭上冲,冲出一座“愚昧之巅”,随后一头栽进“绝望之谷”,很久以后才爬上一片平缓的高原。图注上永远挂着同一个名字:邓宁-克鲁格效应。

那条曲线并不在原论文里。没有山峰,没有山谷,也没有高原。那张图是某个时候在互联网上被造出来、贴上论文的名牌流传开的;而1999年论文里真正刊出的图,长得要平淡得多。平淡的原本与花哨的复制品之间的距离,就是本篇要讲的全部内容。

按照用论文读心理学系列的规矩,我们先看原论文究竟做了什么。然后跟着这个效应遭受的最扎心的批评走一遍——用毫无意义的随机数也能画出同一张图——最后数一数还剩下什么。

1999年论文究竟做了什么 — 康奈尔本科生,幽默、逻辑与语法

贾斯汀·克鲁格(Justin Kruger)与大卫·邓宁(David Dunning)1999年发表在 Journal of Personality and Social Psychology 上的论文,由四项研究构成。参与者全部是康奈尔大学心理学课程的本科生。

  • 研究1(幽默): 让参与者评定30个笑话有多好笑,以8位职业喜剧演员的评定作为标准答案。参与者65人。
  • 研究2(逻辑推理): LSAT 类型的逻辑题20道。参与者45人。
  • 研究3(语法): 标准化的英语语法题。参与者84人。
  • 研究4(再训练): 完成逻辑任务后,给其中一部分人做一段简短的逻辑训练,再重新收集自我评价。参与者140人。

程序的核心,是考试之后抛出的那个问题:“你的能力和今天的成绩,在康奈尔的同学中大约排在第几个百分位?”然后按实际成绩把参与者四等分,把每个四分位的平均自我评价与平均实际成绩并排画出来。这张图就是该论文的代表性图表。横轴不是经验而是成绩四分位,线有两条,而且没有山峰。

真实结果与“无能者过度自信”有点不一样

把语法任务(研究3)的大致数值搬进表格,是这样的。

成绩四分位实际成绩(百分位)自我能力估计(百分位)方向
后25%约10约67大幅高估
第2四分位约32约66高估
第3四分位约62约71略微高估
前25%约89约72低估

这里有两点值得注意。第一,自我评价那条线横跨各四分位,几乎是平的。实际成绩从百分位10一路拉开到89、相差近八倍,而自我估计只在60多分到70出头之间来回。也就是说,数据讲的话与其说是“只有无能的人会高估自己”,不如说更接近几乎所有人都把自己估在平均线略上方这一句。

第二,有一个大众化的摘要里几乎从不提及的事实:前25%的人把自己低估了大约15到20个百分位。克鲁格与邓宁本人也在论文中讨论了这一点,并给出解释:做得好的人觉得任务对自己很容易,于是假定别人也差不多(虚假共识)。论文里那两条线之所以在右端交叉,原因就在这里。

到这一步,大众版本已经错了两处:图的形状,以及关于高分组的结论。

最扎心的反驳 — 随机数也能画出同一张图

真正的问题在后面。把自我评价分数和实际成绩生成为彼此毫无关系的随机数,再按实际成绩切分四分位,画出每组的平均值试试。令人吃惊的是,你会得到一张与论文里长得一模一样的交叉图。因为有两股力量叠在了一起。

第一股是向平均回归。后四分位并不是只有“能力低的人”聚在那里,还混着“那天运气不好的人”。换一个测量指标(自我评价)再看这批人,他们就会往平均值那边靠回去;前四分位则朝相反方向靠回去。按实际成绩切分四分位的那一刻起,两条线的交叉就已经被自动预定了。

第二股是优于平均效应加上测量误差。人们的自我评价大体上聚在中位数略上方,与实际能力的相关并不高。于是自我评价那条线在哪个四分位上都会变平。把平的线和陡的线叠在一起,就成了一个X。

第一个系统性地提出这一质疑的,是约阿希姆·克鲁格(Joachim Krueger)与罗斯·穆勒(Ross Mueller)2002年的论文。他们报告说,一旦校正测量信度并统制回归效应,邓宁-克鲁格式的模式就会大幅缩小。此后爱德华·纽弗(Edward Nuhfer)的研究团队在2016年和2017年的 Numeracy 论文中,用图把这个论证钉死了:纯随机数模拟画出的图,与教科书里那张分辨不出差别;而把1,000多份真实作答数据改用个体散点图、而非四分位平均来呈现时,出现的是完全不同的画面——大多数人对自己的实力估得相当准,严重高估者只是少数。纽弗团队的结论很尖锐:制造错觉的不是人的心智,而是画图的惯例。

2020年的重新分析 — 929人,以及剩下的残余

把上面这些梳理检验得最干净的,是吉勒·吉尼亚克(Gilles Gignac)与马尔钦·扎延科夫斯基(Marcin Zajenkowski)2020年发表在 Intelligence 上的论文。样本为929人。他们同时测量客观智力测验分数与自评智力,然后彻底弃用四分位平均图,改在个体层面的数据上做两项检验:一项是非线性(二次项)回归,另一项是异方差检验。因为如果邓宁-克鲁格假说为真,那么在能力偏低的区间,自我评价的误差就该系统性地更大。

结果是这样的。自我评价与实际智力的相关约为0.28,是清楚的正相关,而非线性项实质上没有意义。只有异方差检验留下了极小的痕迹——能力越低,自我评价的误差幅度略宽一些。论文标题把结论直接说了出来:这大体上是统计人工物

再补一条。凯瑟琳·伯森(Katherine Burson)、理查德·拉里克(Richard Larrick)与约书亚·克莱曼(Joshua Klayman)2006年的研究显示,操纵任务难度会让这个模式翻转。在容易的任务上,低分组会大幅高估自己;但在困难的任务上,反而是高分组把自己低估得更厉害。决定误差方向的不是人的无能,而是任务的难度

互联网的反讽 — 变成武器的效应

这个效应在网上的用法,几乎收敛成了同一件事:贬低对方。“这不就是典型的邓宁-克鲁格。”

写下这句话的人同时在做三件事:引用一张原论文里没有的图;不检验自己判断的准确度;并且没有意识到,论文真正的结论讲的不是“某一类人”,而是“每个人都有的盲区”。邓宁本人在此后的多篇文章和访谈中反复说过,这个效应是自我检查的工具,不是贴在别人身上的标签。

引用累积到几百次并不会让一个主张变得结实,这话在自我损耗那一篇里已经说过一次。邓宁-克鲁格的情况稍有不同:不是文献被吹大了,而是没读过论文的人写的摘要,传播得比原文广得多。

所以要丢掉什么,带走什么

要丢掉的:那条带山峰和山谷的曲线。以及“越无能越自信”这种人物论。前者没有出处,后者在很大程度上是四分位平均这种画法制造出来的图像。把这个名字贴到某个具体的人或群体身上的用法,连原论文都不支持。

要带走的1 — 自我评价是结构的函数,而不是能力的函数。正如伯森团队所展示的,难度一变,误差的方向就变;反馈越即时、越具体,自我评价就越准。所以在实务中该做的不是评论别人有多自信,而是把反馈周期缩短。这也是刻意练习的真正条件一文把即时反馈列为核心要件的原因。

要带走的2 — 原论文的研究4依然成立。给后四分位的参与者做一段简短的逻辑训练之后,不只是成绩提高了,自我评价的准确度也跟着提高。这个设计同样不能完全摆脱回归效应,但至少它是与四分位图的错觉不同类型的证据。意识到自己不知道什么的能力,会作为训练的副产品跟着长出来。

要带走的3 — 凡是先按极端值切分群体、再比较平均值的图,先怀疑一下。把绩效后20%的人挑出来做培训、然后声称有提升的内部报告,以最差的那个月为基准来衡量改善幅度的仪表盘,全都踩在同一个陷阱上。邓宁-克鲁格之争留下的最实用的遗产,不在心理学那一侧,而在这份统计直觉上。

原文阅读指南

  • 原论文: Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: How difficulties in recognizing one's own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121-1134.
  • 统计学反驳: Krueger, J., & Mueller, R. A. (2002). Unskilled, unaware, or both? The better-than-average heuristic and statistical regression predict errors in estimates of own performance. Journal of Personality and Social Psychology, 82(2), 180-188.
  • 难度效应: Burson, K. A., Larrick, R. P., & Klayman, J. (2006). Skilled or unskilled, but still unaware of it: How perceptions of difficulty drive miscalibration in relative comparisons. Journal of Personality and Social Psychology, 90(1), 60-77.
  • 随机数模拟: Nuhfer, E., Fleisher, S., Cogan, C., Wirth, K., & Gaze, E. (2017). How random noise and a graphical convention subverted behavioral scientists' explanations of self-assessment data: Numeracy underlies better alternatives. Numeracy, 10(1), Article 4.
  • 重新分析: Gignac, G. E., & Zajenkowski, M. (2020). The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches to testing the hypothesis with individual differences data. Intelligence, 80, 101449.

阅读提示: 1999年的论文,与其先读正文,不如先看 Figure 1(幽默任务)和 Figure 3(语法任务)。自我评价那条线有多平、两条线在右端如何反转,30秒就能看明白。接着把 Nuhfer 2017 的随机数模拟图并排放在旁边,整场争论就都懂了。Gignac and Zajenkowski 2020 的亮点,则是那张用个体散点图取代四分位平均的图。