벤치마크 방법론 논문 열두 편을 arXiv 원문 초록에서 직접 확인해, 리더보드 숫자를 어떻게 읽어야 하는지 정리했습니다. 데이터 오염, 프롬프트 형식 민감도, 평가 하네스 차이, 자체 보고, 리더보드의 표집 비대칭, LLM 심사자의 편향, 그리고 오차 막대를 붙이는 통계적 접근까지 다룹니다. 영역별 최신 기술 리포트 읽기 시리즈의 마지막 편이자, 앞선 다섯 편을 읽는 방법에 대한 안내입니다.
이미지 생성과 이해 기술 리포트 열한 편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. 정류 흐름 트랜스포머와 VAR, Emu3, SANA, Janus-Pro, FLUX.1 Kontext, Qwen-Image 계열, Seedream 4.0, Z-Image와 Mage-Flow, InternVL3, 그리고 평가 쪽 Qwen-Image-Bench까지 각각 무엇을 새로 했고 저자들이 어떤 한계를 밝혔는지 읽습니다. 순위는 다루지 않습니다. 영역별 최신 기술 리포트 읽기 시리즈 5편.
텍스트 LLM 기술 리포트 9편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. DeepSeek-V3와 DeepSeek-R1, Qwen3, Gemma 3, Olmo 3, Kimi K2, MiniMax-01, Mellum2, s1이 각각 무엇을 새로 했고 저자들이 어떤 한계를 스스로 밝혔는지 읽습니다. 모델 순위는 다루지 않습니다. 리더보드는 계속 바뀌고 리포트의 점수는 대부분 자체 보고이기 때문입니다. 영역별 최신 기술 리포트 읽기 시리즈 1편.
OCR과 문서 이해 기술 리포트 열 편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. Donut과 Nougat에서 GOT-OCR2.0, olmOCR, DeepSeek-OCR과 그 후속, GLM-OCR, Qianfan-OCR, MinerU2.5-Pro, HunyuanOCR-1.5까지 각각 무엇을 새로 했고 저자들이 어떤 한계를 밝혔는지 읽습니다. 순위는 다루지 않습니다. 문서 파싱 점수는 벤치마크 버전과 채점 방식에 특히 민감하기 때문입니다. 영역별 최신 기술 리포트 읽기 시리즈 2편.
음성 인식과 합성 기술 리포트 열 편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. Whisper와 Omnilingual ASR, Qwen3-ASR, Open ASR Leaderboard, Seed-TTS와 F5-TTS, CosyVoice 2, Qwen3-TTS, Fish Audio S2, Moshi, Qwen2.5-Omni와 MOSS-Audio가 각각 무엇을 새로 했고 저자들이 어떤 한계를 밝혔는지 읽습니다. 순위 대신 지연, 언어 커버리지, 스트리밍 제약을 봅니다. 영역별 최신 기술 리포트 읽기 시리즈 4편.
비디오 생성과 이해 기술 리포트 열 편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. CogVideoX, Movie Gen, HunyuanVideo, LTX-Video, Wan, Seedance 1.0과 2.0, 그리고 이해 쪽의 Qwen2.5-VL, VideoLLaMA 3, HY-Himmel까지 무엇을 새로 했고 저자들이 어떤 한계를 밝혔는지 읽습니다. 순위는 다루지 않고, 대신 길이·해상도·토큰 예산 같은 실제 제약을 봅니다. 영역별 최신 기술 리포트 읽기 시리즈 3편.
1964년 키티 제노비스가 살해되는 동안 38명의 이웃이 지켜보기만 했다는 뉴욕타임스 기사는 방관자 효과라는 개념을 낳았습니다. 그런데 2007년 아메리칸 사이콜로지스트에 실린 검증은 그 숫자와 정황이 상당 부분 사실이 아니라고 정리합니다. 목격 가능한 사람은 훨씬 적었고, 신고는 있었고, 한 이웃은 현장에 내려와 그녀를 안고 있었습니다. 그럼에도 그 기사가 촉발한 1968년 달리와 라타네의 실험은 진짜였고 재현도 됩니다. 개인의 개입 확률과 집단의 개입 확률이 어떻게 갈라지는지 코드로 확인하고, 219건의 실제 CCTV 영상이 내놓은 답까지 따라갑니다.
지루한 과제를 시킨 뒤 거짓말을 부탁하고, 한쪽에는 1달러를, 다른 쪽에는 20달러를 줬습니다. 나중에 과제가 더 재미있었다고 답한 쪽은 적게 받은 사람들이었습니다. 페스팅거와 칼스미스의 1959년 논문은 조건당 20명, 마이너스 5에서 플러스 5까지의 척도 위에서 벌어진 작은 실험이지만 사회심리학의 방향을 바꿨습니다. 종말론 집단 잠입 기록의 방법론적 한계, 벰의 자기지각 이론이라는 경쟁 설명, 그리고 2010년에 밝혀진 자유 선택 패러다임의 통계적 허점까지 따라가며 무엇이 남고 무엇이 흔들리는지 정리합니다.
인터넷에 떠도는 우매함의 봉우리 그래프는 던닝과 크루거의 1999년 논문에 존재하지 않습니다. 원 논문은 코넬 학부생에게 유머, 논리, 문법 과제를 시키고 성적 사분위별로 자기평가를 비교한 네 개의 연구였고, 실제 결과는 하위권의 과대평가만큼이나 상위권의 과소평가를 보여 줍니다. 더 아픈 지적은 따로 있습니다. 자기평가와 실제 성적이 아무 관계가 없는 난수만 넣어도 똑같은 모양의 그래프가 그려진다는 것입니다. 평균으로의 회귀가 만드는 착시, 929명을 다시 분석한 2020년 논문, 그리고 그럼에도 버리지 않아도 되는 메타인지 훈련의 가치까지 정리합니다.
1961년 예일에서 시작된 밀그램 실험은 참가자의 65퍼센트가 최대 전압까지 갔다는 한 문장으로 요약되어 왔습니다. 그런데 그 숫자는 24개에 이르는 변형 실험 중 하나의 값일 뿐이고, 조건을 바꾸면 복종률은 0퍼센트에서 92.5퍼센트까지 움직였습니다. 지나 페리가 예일 기록보관소에서 확인한 것은 실험자가 대본에 없는 압박을 반복했고 상당수 참가자가 속임수를 의심했다는 증거입니다. 하슬람과 라이커는 맹목적 복종 대신 과학이라는 대의에 대한 동일시라는 대안 설명을 내놓았고, 2009년 버거의 부분 재현은 150볼트에서 멈추는 설계로 비슷한 비율을 얻었습니다. 남는 것과 버릴 것을 나눠 정리합니다.
"사람은 이득의 기쁨보다 손실의 고통을 두 배 크게 느낀다"는 문장은 협상 교재와 가격 정책 문서의 단골이 됐습니다. 출처인 카너먼과 트버스키의 1979년 이코노메트리카 논문을 열어 보면, 실제 재료는 이스라엘 대학생들에게 던진 가설적 도박 문항 몇 개와 응답 비율표입니다. 유명한 "두 배"라는 숫자는 1979년이 아니라 대학원생 25명을 대상으로 한 1992년 후속 연구의 중앙값이고, 2018년 이후에는 손실 회피가 과장됐다는 재검토도 나와 있습니다. 손실 회피 계수 하나가 기댓값이 양수인 내기를 어떻게 거절시키는지 코드로 확인하고, 이론의 어느 부분이 재현되고 어느 부분이 흔들리는지 나눠 읽습니다.
1971년 짐바르도의 감옥 실험은 평범한 대학생이 6일 만에 잔혹한 교도관이 됐다는 이야기로 교과서와 영화에 실렸습니다. 그런데 원 자료는 최상급 학술지가 아니라 작은 저널에 실렸고, 표본은 24명이었으며, 모집 광고 자체가 특정 성향의 지원자를 끌어들였다는 검증이 2007년에 나왔습니다. 2018년 티보 르 텍시에가 스탠퍼드 기록보관소에서 확인한 것은 더 결정적입니다. 교도관들은 강압적으로 굴라는 코칭을 받았고, 정신적 붕괴의 상징이 된 참가자는 훗날 자신이 연기했다고 말했습니다. 그럼에도 상황의 힘이라는 주제는 폐기되지 않았습니다 — 다만 그 근거는 이 실험이 아니라 다른 곳에 있습니다.
1만 시간의 법칙이 태어난 1993년 에릭손 논문을 실제로 열어 보면, 대중서가 전한 것과 꽤 다른 그림이 나옵니다. 베를린 음악원 연구의 실제 설계(표본 30명, 회고적 추정)와 논문이 정말 주장한 것, 그리고 2014년 매크나마라 메타분석이 내놓은 반전 — 연습량은 실력 차이의 평균 12%만 설명한다 — 을 차례로 읽습니다. 연습 무용론도 만능론도 아닌, 그 사이의 정확한 지점을 찾는 편입니다.
"의지력은 근육처럼 소모된다"는 자아 고갈 이론은 한때 심리학에서 가장 탄탄해 보이는 이론이었습니다. 초콜릿 향이 가득한 방에서 무를 먹은 사람들이 퍼즐을 더 빨리 포기한 1998년 실험부터, 수백 편의 지지 연구, 그리고 23개 연구실 2천여 명의 공동 재검증이 사실상 0의 효과를 보고한 2016년의 반전까지. 어떻게 수백 편의 논문이 있는 이론이 무너질 수 있는지, 출판 편향 시뮬레이션 코드를 직접 돌려 보며 이해하는 편입니다.
운동이 기분에 좋다는 말은 누구나 하지만, 우울증 환자에게 운동과 항우울제를 무작위 배정해 정면 비교한 임상시험은 흔치 않습니다. 1999년 블루멘탈의 SMILE 연구는 16주 뒤 두 치료의 관해율이 비슷했고, 10개월 추적에서는 운동 그룹의 재발률이 가장 낮았다고 보고했습니다. 이 결과를 어디까지 믿어야 하는지 — 설계의 한계, 2007년 재실험, 218개 임상시험을 종합한 2024년 네트워크 메타분석까지 — 과장 없이 정리한 아홉 번째 편입니다. 의학적 조언이 아니라 논문 읽기입니다.
자기계발서의 단골 처방인 감사 일기의 출처는 2003년 에먼스와 매컬러프의 축복 세기 실험입니다. 매주 감사한 일 다섯 가지를 적은 그룹은 골칫거리를 적은 그룹보다 더 행복했고, 운동을 더 했고, 잠까지 더 잘 잤습니다. 다만 후속 메타분석이 말하는 효과 크기는 광고보다 겸손합니다. 원 논문의 세 실험을 차례로 읽고, 과장 없이 남는 것(작지만 값싸고 안전한 개입)과 효과를 높이는 조건, 그리고 시들지 않게 쓰는 법까지 정리한 시리즈 완결편입니다.
"능력은 변한다고 믿으면 성적이 오른다"는 성장 마인드셋은 교육계를 휩쓴 만큼 과장도 많았습니다. 이 글은 출발점인 1998년 뮬러와 드웩의 칭찬 실험(머리를 칭찬받은 아이는 왜 쉬운 문제를 고르게 되나)을 원 논문 기준으로 복원하고, 효과가 없다는 메타분석과 1만 2천 명 규모의 2019년 네이처 국가 실험까지 따라갑니다. 결론은 양쪽 진영 모두를 불편하게 합니다. 효과는 실재하지만 작고, 대신 아주 쌉니다.
4살의 참을성이 인생을 결정한다는 마시멜로 실험. 그런데 원 논문을 실제로 읽어 보면 대중적 신화와 상당히 다릅니다. 1972년 미셸의 원 실험이 실제로 밝힌 것(기다림의 기술은 전략이라는 것), 유명한 장기 추적 상관의 표본 크기, 그리고 2018년 왓츠 연구팀이 900여 명으로 재검증했을 때 가정환경을 통제하자 효과가 크게 줄어든 이야기까지 — 논문으로 읽는 심리학 첫 편입니다.
"연봉 7만 5천 달러가 넘으면 행복은 더 오르지 않는다"는 카너먼의 2010년 연구는 상식이 됐습니다. 그런데 2021년 킬링스워스가 스마트폰 실시간 데이터로 정반대(행복은 계속 오른다)를 보고하면서 논쟁이 시작됩니다. 놀라운 것은 그다음입니다. 두 사람은 서로를 공격하는 대신 공동 연구를 수행했고, 2023년 두 결과가 모두 부분적으로 옳았음을 함께 밝혀냅니다. 로그 스케일의 의미를 코드로 확인하며, 과학적 논쟁의 가장 아름다운 해결 사례를 읽는 편입니다.
"나는 6시간이면 충분해"라고 말하는 사람에게 보여 줄 논문이 있습니다. 2003년 밴 던진 연구팀은 참가자들을 실험실에 2주간 격리하고 수면을 4·6·8시간으로 정확히 배정한 뒤 매일 인지 능력을 측정했습니다. 결과: 6시간 그룹의 주의력은 직선으로 하락해 2주 뒤 이틀 밤샘 수준에 도달했는데, 정작 본인들의 졸림 평가는 며칠 만에 멈춰 있었습니다. 손상은 쌓이는데 자각은 멈추는 것 — 수면 부채가 위험한 진짜 이유를 코드로 그려 보는 편입니다.
공부한 것을 다시 읽으면 아는 느낌이 들지만, 시험을 보면 무너집니다. 2006년 뢰디거와 카픽의 실험은 그 이유를 정확히 보여 줍니다. 반복 읽기는 5분 뒤 시험에서 이기고, 일주일 뒤 시험에서는 반복 인출(스스로 시험 보기)에게 크게 집니다. 인출 연습과 간격 효과의 원 논문을 읽고, 안키가 쓰는 간격 반복 알고리즘 SM-2를 파이썬으로 직접 구현해 봅니다. 공부법을 바꾸는 데 이 한 편이면 충분합니다.
2010년 사이언스에 실린 두 쪽짜리 논문은 스마트폰 앱으로 2,250명의 일상을 실시간 표집해 놀라운 사실을 보고했습니다. 사람들은 깨어 있는 시간의 47%를 지금 하는 일이 아닌 다른 생각을 하며 보내고, 무슨 일을 하는지보다 딴생각 여부가 행복을 더 잘 예측하며, 즐거운 딴생각조차 집중보다 행복하지 않았다는 것. 경험 표집법이라는 연구 방법을 코드로 이해하고, 통근길과 설거지가 달라지는 실천까지 정리한 다섯 번째 편입니다.
Mamba(Selective State Space Models) 논문을 심층 리뷰한다. S4에서 Mamba까지의 발전 과정, Selective Scan 메커니즘, Hardware-Aware 알고리즘, 그리고 Mamba-2의 State Space Duality까지 코드와 함께 분석.