필사 모드: 던닝-크루거 효과 — 그 유명한 그래프는 원 논문에 없습니다

들어가며 — 당신이 본 그 그래프는 논문에 없습니다

한 번쯤 봤을 그림이 있습니다. 가로축은 경험, 세로축은 자신감. 곡선은 초보 구간에서 가파르게 솟아 "우매함의 봉우리"를 찍고, "절망의 계곡"으로 곤두박질쳤다가, 한참 뒤에야 완만한 고원에 도달합니다. 캡션에는 늘 같은 이름이 붙어 있습니다. 던닝-크루거 효과.

그 곡선은 원 논문에 없습니다. 봉우리도, 계곡도, 고원도 없습니다. 저 그림은 언젠가 인터넷에서 만들어져 논문의 이름표를 달고 유통된 것이고, 1999년 논문에 실린 그림은 훨씬 밋밋하게 생겼습니다. 그리고 밋밋한 원본과 화려한 복제본 사이의 거리가, 이번 편에서 다룰 이야기 전부입니다.

논문으로 읽는 심리학 시리즈의 규칙대로, 원 논문이 실제로 무엇을 했는지부터 봅니다. 그다음 이 효과에 가해진 가장 아픈 비판 — 아무 의미 없는 난수로도 같은 그래프가 나온다는 지적 — 을 따라가고, 그래도 남는 것을 셉니다.

1999년 논문이 실제로 한 일 — 코넬 학부생, 유머와 논리와 문법

저스틴 크루거(Justin Kruger)와 데이비드 던닝(David Dunning)의 1999년 Journal of Personality and Social Psychology 논문은 네 개의 연구로 이루어져 있습니다. 참가자는 전부 코넬대 심리학 수업의 학부생이었습니다.

• 연구 1(유머): 30개의 농담을 얼마나 웃긴지 평정하게 하고, 전문 코미디언 8명의 평정을 정답 기준으로 삼았습니다. 참가자 65명.
• 연구 2(논리적 추론): LSAT 유형의 논리 문항 20개. 참가자 45명.
• 연구 3(문법): 표준화된 영어 문법 문항. 참가자 84명.
• 연구 4(재훈련): 논리 과제를 치른 뒤 일부에게 짧은 논리 훈련을 시키고 자기평가를 다시 받았습니다. 참가자 140명.

절차의 핵심은 시험 뒤에 던지는 질문입니다. "당신의 능력과 오늘 성적은 코넬 동급생 중 백분위 몇 위쯤일 것 같습니까?" 그리고 실제 성적으로 참가자를 네 등분해, 사분위별 평균 자기평가와 평균 실제 성적을 나란히 그렸습니다. 이 그림이 논문의 대표 도표입니다. 가로축은 경험이 아니라 성적 사분위이고, 선은 두 개이며, 봉우리는 없습니다.

실제 결과는 "무능한 사람의 과신"과 조금 다릅니다

문법 과제(연구 3)의 대략적인 값을 표로 옮기면 이렇습니다.

여기서 두 가지가 눈에 들어옵니다. 첫째, 자기평가 선은 사분위를 가로질러 거의 평평합니다. 실제 성적이 백분위 10에서 89까지 여덟 배 가까이 벌어지는 동안, 자기 추정은 60대 중반에서 70대 초반 사이를 오갈 뿐입니다. 즉 데이터가 말하는 것은 "무능한 사람만 자신을 과대평가한다"보다 거의 모두가 자신을 평균보다 조금 위로 추정한다에 훨씬 가깝습니다.

둘째, 대중적 요약에서 거의 언급되지 않는 사실이 있습니다. 상위 25퍼센트는 자신을 백분위 15에서 20 정도 과소평가했습니다. 크루거와 던닝 본인들이 이 부분을 논문에서 다루며, 잘하는 사람은 과제가 자신에게 쉬웠으므로 남들도 비슷하게 했을 것이라 가정한다는 설명(허위 합의)을 붙였습니다. 논문의 두 선이 오른쪽 끝에서 교차하는 이유가 이것입니다.

이 시점에서 이미 대중 버전은 두 군데가 틀렸습니다. 그래프의 모양과, 상위권에 대한 결론입니다.

가장 아픈 반론 — 난수로도 같은 그래프가 그려집니다

진짜 문제는 그다음입니다. 자기평가 점수와 실제 성적을 서로 아무 관계 없는 난수로 생성한 뒤, 실제 성적으로 사분위를 나누고 각 집단의 평균을 그려 보십시오. 놀랍게도 논문과 똑같이 생긴 교차 그림이 나옵니다. 두 가지 힘이 겹치기 때문입니다.

첫째는 평균으로의 회귀입니다. 하위 사분위는 "능력이 낮은 사람"만 모인 곳이 아니라 "그날 운이 나빴던 사람"까지 섞인 곳입니다. 이들을 다른 측정치(자기평가)로 다시 보면 평균 쪽으로 되돌아옵니다. 상위 사분위는 반대 방향으로 되돌아옵니다. 사분위를 실제 성적으로 나누는 순간, 두 선의 교차는 자동으로 예약됩니다.

둘째는 평균 이상 효과와 측정 오차입니다. 사람들의 자기평가는 대체로 중간보다 조금 위에 몰려 있고 실제 능력과의 상관은 그리 높지 않습니다. 그러면 자기평가 선은 어느 사분위에서든 평평해집니다. 평평한 선과 가파른 선을 겹치면 X자가 됩니다.

이 지적을 처음 체계적으로 제기한 것은 요아힘 크루거(Joachim Krueger)와 로스 뮐러(Ross Mueller)의 2002년 논문입니다. 이들은 측정 신뢰도를 보정하고 회귀 효과를 통제하면 던닝-크루거 패턴이 크게 줄어든다고 보고했습니다. 이후 에드워드 누퍼(Edward Nuhfer) 연구팀은 2016년과 2017년 Numeracy 논문에서 이 논증을 그림으로 못 박았습니다. 순수 난수 시뮬레이션이 교과서에 실린 것과 구별되지 않는 그래프를 만들어 냈고, 1천 명이 넘는 실제 응답 자료를 사분위 평균 대신 개인별 산점도로 그리자 전혀 다른 그림 — 대다수는 자기 실력을 꽤 정확히 알고 있고 심한 과대평가자는 소수 — 이 나타났습니다. 누퍼 팀의 결론은 통렬합니다. 착시를 만든 것은 사람의 마음이 아니라 그래프를 그리는 관행이었다는 것입니다.

2020년 재분석 — 929명, 그리고 남은 잔여물

지금까지의 정리를 가장 깔끔하게 검증한 것이 질 기냑(Gilles Gignac)과 마르친 자옌코프스키(Marcin Zajenkowski)의 2020년 Intelligence 논문입니다. 표본은 929명. 객관적 지능 검사 점수와 자기평가 지능을 함께 측정한 뒤, 사분위 평균 그래프를 아예 쓰지 않고 개인 수준 데이터로 두 가지를 검정했습니다. 하나는 비선형(이차항) 회귀, 다른 하나는 이질분산성 검정입니다. 던닝-크루거 가설이 참이라면 능력이 낮은 구간에서 자기평가 오차가 체계적으로 커야 하니까요.

결과는 이렇습니다. 자기평가와 실제 지능의 상관은 약 0.28로 분명한 양의 관계였고, 비선형 항은 실질적으로 무의미했습니다. 이질분산성 검정에서만 아주 작은 흔적 — 능력이 낮을수록 자기평가의 오차 폭이 조금 넓다 — 이 남았습니다. 논문 제목이 결론을 그대로 말합니다. 대체로 통계적 인공물이라는 것입니다.

여기에 하나 더. 캐서린 버슨(Katherine Burson), 리처드 래릭(Richard Larrick), 조슈아 클레이먼(Joshua Klayman)의 2006년 연구는 과제 난이도를 조작하면 패턴이 뒤집힌다는 것을 보여 줬습니다. 쉬운 과제에서는 하위권이 크게 과대평가하지만, 어려운 과제에서는 오히려 상위권이 자신을 더 심하게 과소평가합니다. 오차의 방향을 정하는 것은 사람의 무능이 아니라 과제의 난이도였습니다.

인터넷의 아이러니 — 무기가 된 효과

이 효과가 온라인에서 쓰이는 용례는 거의 하나로 수렴합니다. 상대를 깎아내리는 것입니다. "딱 던닝-크루거네."

이 문장을 쓰는 사람은 세 가지를 동시에 하고 있습니다. 원 논문에 없는 그래프를 인용하고, 자신의 판단 정확도는 검정하지 않으며, 논문의 실제 결론이 "어떤 부류의 사람"이 아니라 "누구에게나 있는 사각지대"에 관한 것이라는 점을 놓칩니다. 던닝 본인도 이후 여러 글과 인터뷰에서 이 효과는 남에게 붙이는 라벨이 아니라 자기 점검의 도구라고 반복해서 말했습니다.

수백 편의 인용이 쌓였다고 해서 주장이 튼튼해지는 것은 아니라는 이야기는 자아 고갈 편에서 이미 한 번 했습니다. 던닝-크루거의 경우는 조금 다릅니다. 문헌이 부풀려진 것이 아니라, 논문을 읽지 않은 요약본이 원본보다 훨씬 널리 퍼진 사례입니다.

그래서 버릴 것과 가져갈 것

버릴 것: 봉우리와 계곡이 있는 그 곡선. 그리고 "무능할수록 자신감이 넘친다"는 인물론. 앞의 것은 출처가 없고, 뒤의 것은 사분위 평균이라는 그리기 방식이 상당 부분 만들어 낸 그림입니다. 특정 인물이나 집단에 이 이름을 붙이는 용법은 원 논문조차 지지하지 않습니다.

가져갈 것 1 — 자기평가는 능력이 아니라 구조의 함수입니다. 버슨 연구팀이 보여 준 대로 난이도가 바뀌면 오차의 방향이 바뀌고, 피드백이 즉각적이고 구체적일수록 자기평가는 정확해집니다. 그래서 실무에서 할 일은 사람의 자신감을 논평하는 것이 아니라 피드백 주기를 짧게 만드는 것입니다. 의식적 연습의 진짜 조건에서 즉각적 피드백을 핵심 요건으로 꼽은 이유이기도 합니다.

가져갈 것 2 — 원 논문의 연구 4는 아직 유효합니다. 하위권 참가자에게 짧은 논리 훈련을 시키자 성적만 오른 것이 아니라 자기평가의 정확도도 함께 올랐습니다. 이 설계 역시 회귀 효과에서 완전히 자유롭지는 않지만, 적어도 사분위 그래프의 착시와는 다른 종류의 증거입니다. 모르는 것을 모른다고 알아차리는 능력은 훈련의 부산물로 따라옵니다.

가져갈 것 3 — 집단을 극단값으로 나눈 뒤 평균을 비교하는 그림은 일단 의심하십시오. 성과 하위 20퍼센트를 뽑아 교육한 뒤 향상됐다는 사내 보고서, 최악의 달을 기준으로 개선폭을 재는 대시보드가 전부 같은 함정 위에 있습니다. 던닝-크루거 논쟁이 남긴 가장 실용적인 유산은 심리학이 아니라 이 통계 감각 쪽입니다.

원문 읽기 가이드

• 원 논문: Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: How difficulties in recognizing one's own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121-1134.
• 통계적 반론: Krueger, J., & Mueller, R. A. (2002). Unskilled, unaware, or both? The better-than-average heuristic and statistical regression predict errors in estimates of own performance. Journal of Personality and Social Psychology, 82(2), 180-188.
• 난이도 효과: Burson, K. A., Larrick, R. P., & Klayman, J. (2006). Skilled or unskilled, but still unaware of it: How perceptions of difficulty drive miscalibration in relative comparisons. Journal of Personality and Social Psychology, 90(1), 60-77.
• 난수 시뮬레이션: Nuhfer, E., Fleisher, S., Cogan, C., Wirth, K., & Gaze, E. (2017). How random noise and a graphical convention subverted behavioral scientists' explanations of self-assessment data: Numeracy underlies better alternatives. Numeracy, 10(1), Article 4.
• 재분석: Gignac, G. E., & Zajenkowski, M. (2020). The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches to testing the hypothesis with individual differences data. Intelligence, 80, 101449.

읽기 팁: 1999년 논문은 본문보다 Figure 1(유머 과제)과 Figure 3(문법 과제)을 먼저 보십시오. 자기평가 선이 얼마나 평평한지, 그리고 오른쪽 끝에서 두 선이 어떻게 뒤집히는지가 30초 만에 들어옵니다. 그다음 Nuhfer 2017의 난수 시뮬레이션 그림을 나란히 놓고 보면 논쟁의 전부가 이해됩니다. Gignac and Zajenkowski 2020은 사분위 평균 대신 개인 산점도를 제시한 그림이 하이라이트입니다.