필사 모드: 리더보드와 벤치마크를 읽는 법 — SOTA는 왜 유통기한이 짧은가

• 들어가며
• "SOTA"가 유통기한이 짧은 이유
• 오염: 시험지가 교과서에 섞일 때
• 하네스와 프롬프트: 같은 모델, 다른 점수
• 자체 보고와 리더보드의 구조
• 심사자가 사람이 아닐 때
• 숫자에 오차 막대를 붙이기
• 읽는 순서와 체크리스트
• 확인 방법과 시점
• 직접 해보기
• 참고 자료

들어가며

이 시리즈의 마지막 편은 모델이 아니라 숫자에 관한 것입니다. 앞선 다섯 편에서 저는 계속 같은 말을 반복했습니다. 이 수치는 저자 보고이고, 하네스가 달라지면 값이 달라진다고요. 이번 편은 그 문장의 근거를 논문으로 채웁니다.

논문 정보는 2026-08-12에 원문에서 직접 확인했습니다. 이 분야는 빠르게 바뀌므로 최신 상태는 직접 확인하세요.

"SOTA"가 유통기한이 짧은 이유

SOTA는 상태가 아니라 시점입니다. "X가 SOTA다"라는 문장은 사실 "내가 마지막으로 확인한 리더보드 스냅숏에서, 내가 쓴 하네스와 프롬프트로, 내가 고른 벤치마크에서 X가 위였다"의 줄임말입니다. 이 문장에서 생략된 조건이 넷인데, 그중 셋은 며칠 단위로 바뀝니다.

벤치마크 평가를 체계화하려 한 초기 시도인 HELM(arxiv.org/abs/2211.09110, 2022-11-16 등록)이 지적한 문제가 이것입니다. 저자들은 HELM 이전에 모델들이 평균적으로 핵심 시나리오의 17.9%에서만 평가되었다고 보고합니다. 서로 다른 부분집합에서 잰 점수로 순위를 매기고 있었다는 뜻입니다. 참고로 HELM 저자들은 자기 프레임워크의 공백도 함께 적습니다. 소외된 영어 방언의 질의응답과 신뢰성 지표가 부족하다는 것입니다.

오염: 시험지가 교과서에 섞일 때

가장 널리 알려진 문제지만 여전히 과소평가됩니다.

문자열 일치 제거로는 부족합니다. 재작성 표본을 다룬 논문(arxiv.org/abs/2311.04850, 2023-11-08 등록)은 테스트 데이터를 바꿔 쓰거나 번역만 해도 표준 정제가 뚫린다는 것을 보이고, 13B 모델이 벤치마크에 과적합해 매우 높은 점수를 낼 수 있음을 보고합니다. 실제 사전학습 코퍼스에서 HumanEval의 8~18%가 겹친다는 관찰도 함께 담겨 있습니다.

그러나 모든 모델이 오염된 것은 아닙니다. GSM8k를 본떠 새로 만든 GSM1k 논문(arxiv.org/abs/2405.00332, 2024-05-01 등록)은 최대 8%포인트 하락과 일부 모델 계열의 체계적 과적합을 보고하면서도, 특히 프런티어급 모델은 과적합 징후가 미미하며 모든 모델이 학습에 없던 새 문제로 일반화한다고 함께 적습니다. 오염 논의를 냉소로 끝내지 않는 게 중요합니다.

이 주제 전반은 오염 서베이(arxiv.org/abs/2406.04244, 2024-06-06 등록)에 정리되어 있습니다. 대응 중 하나는 문제를 계속 갈아 끼우는 것입니다. LiveBench(arxiv.org/abs/2406.19314, 2024-06-27 등록)는 최근 자료에서 문제를 매달 갱신하고 객관적 정답으로 자동 채점합니다. 제목이 오염 없음이 아니라 오염 제한이라는 점에 주목하세요. 저자들이 고른 단어입니다.

하네스와 프롬프트: 같은 모델, 다른 점수

여기가 실무자에게 가장 실질적인 부분입니다.

프롬프트 형식 민감도를 정량화한 논문(arxiv.org/abs/2310.11324, 2023-10-17 등록)은 소수샷 설정에서 사소한 형식 차이만으로 정확도가 최대 76점 벌어진 사례를 보고합니다. 모델을 키우거나 예시를 늘리거나 지시 조정을 해도 이 불안정성이 남았습니다. 저자들의 결론은 단호합니다. 임의로 고정한 형식 하나로 모델을 비교하는 방법론 자체가 타당한지 의심해야 하며, 단일 형식 점수 대신 그럴듯한 형식들에 걸친 성능 범위를 보고해야 한다는 것입니다.

같은 문제를 도구 쪽에서 다룬 것이 lm-eval-harness 팀의 기록(arxiv.org/abs/2405.14782, 2024-05-23 등록, v3는 2026-05-31)입니다. 평가 설정에 대한 민감도, 방법 간 비교의 어려움, 재현성과 투명성 부족을 나열하고, 암묵지로 떠돌던 지식을 문서화하려 합니다.

음성 쪽에도 같은 시도가 있습니다. Open ASR Leaderboard(arxiv.org/abs/2510.06961, 2025-10-08 등록)는 86개 시스템을 12개 데이터셋에서 비교하면서 서로 다른 툴킷에 걸쳐 WER과 RTFx를 표준화합니다. 표준화한 비교와 각자 잰 숫자는 다른 물건입니다.

자체 보고와 리더보드의 구조

기술 리포트의 점수는 자체 보고입니다. 그런데 공개 리더보드도 중립적인 저울은 아닙니다.

리더보드의 구조적 문제를 다룬 논문(arxiv.org/abs/2504.20879, 2025-04-29 등록)은 한 대형 경기장식 평가 플랫폼을 분석합니다. 비공개 사전 테스트로 여러 변형을 돌린 뒤 좋은 결과만 공개할 수 있다는 점, 표집이 비대칭이라 일부 대형 제공자가 각각 전체 대전 데이터의 약 19~20%를 받는 동안 83개 개방 가중치 모델이 합쳐서 약 30%를 받았다는 점, 그리고 추가 데이터가 보수적으로 잡아도 상대 성능을 최대 112%까지 끌어올릴 수 있다는 점을 보고합니다. 저자들의 결론은 이 지표가 일반적 모델 품질보다 그 경기장에 대한 과적합을 반영하게 된다는 것입니다.

심사자가 사람이 아닐 때

요즘 평가의 상당수는 LLM이 LLM을 채점합니다. 이 방식을 처음 체계화한 논문(arxiv.org/abs/2306.05685, 2023-06-09 등록)은 강한 심사자가 사람 선호와 80% 넘게 일치한다고 보고하면서, 동시에 위치 편향과 장황함 편향, 자기 선호 편향, 제한된 추론 능력을 함께 인정합니다. 장점과 한계가 같은 초록 안에 있습니다.

2026년의 후속 작업은 더 직설적입니다. 심사자 신뢰성 스트레스 테스트(arxiv.org/abs/2603.05399, 2026-03-05 등록)는 자신들이 평가한 어떤 심사자도 벤치마크 전반에 걸쳐 일관되게 신뢰할 만하지 않았다고 보고합니다. 단순한 서식 변경, 바꿔 쓰기, 장황함 조절, 정답 레이블 뒤집기만으로 판정이 흔들렸습니다. 저자들은 이를 예비 실험이라고 밝힙니다.

숫자에 오차 막대를 붙이기

마지막으로, 대부분의 평가 표에 빠진 것이 불확실성입니다. 평가를 실험으로 보고 통계를 붙이자는 논문(arxiv.org/abs/2411.00640, 2024-11-01 등록)은 평가 문항을 보이지 않는 모집단에서 뽑힌 표본으로 다루고, 두 모델의 차이를 재는 공식과 실험 설계 방법을 제시합니다.

여기에 최근 문제가 하나 더 붙었습니다. 적응적 벤치마킹의 승자의 저주를 다룬 논문(arxiv.org/abs/2605.05973, 2026-05-07 등록)은 튜닝 과정에서 벤치마크 문항을 재사용하면 선택 편향이 생겨 성능이 부풀려진다고 지적합니다. 즉 프롬프트와 설정을 탐색해 가장 좋은 결과를 고르는 순간, 그 점수는 새 데이터에서의 성능 추정치가 아니게 됩니다.

읽는 순서와 체크리스트

[리더보드 숫자를 볼 때의 질문]
 1. 누가 쟀나        : 저자 자체 측정인가 제3자인가
 2. 어떤 하네스인가  : 프롬프트 형식, 소수샷 수, 답 추출 규칙
 3. 언제 만든 문항인가 : 모델 학습 시점 이후인가
 4. 표집이 공정한가  : 누가 얼마나 많이 평가받았나
 5. 심사자는 누구인가 : 사람인가 모델인가, 편향 점검은 했나
 6. 오차 막대가 있나 : 차이가 잡음보다 큰가
 7. 튜닝에 썼나      : 그 벤치마크로 설정을 골랐나

이 일곱 개 중 세 개 이상에 답할 수 없다면, 그 숫자로 의사결정을 하면 안 됩니다.

확인 방법과 시점

이 글에 인용한 논문은 모두 2026-08-12에 arXiv 초록 페이지를 직접 열어 제목과 식별자, 등록일, 초록의 주장 내용을 확인했습니다. 열지 못한 후보는 인용하지 않았습니다. 인용한 수치는 각 논문 저자가 보고한 값입니다.

이 시리즈 전체가 지키려 한 규칙도 같습니다. 어떤 모델이 최고라고 쓰지 않고, 저자가 무엇을 주장했고 무엇을 스스로 한정했는지만 옮깁니다. 저는 어떤 벤치마크도 직접 재현하지 않았습니다.

직접 해보기

• AI 벤치마크 모음 — 리더보드 사이트를 카테고리별로 모아뒀습니다. 위 체크리스트를 들고 아무 리더보드나 하나 열어 일곱 개 질문에 답해 보세요.
• 브라우저 AI 실험실 — 감정 분석이나 제로샷 분류를 직접 돌려 보면, 같은 문장이라도 표현을 조금 바꿀 때 결과가 흔들리는 것을 눈으로 볼 수 있습니다.

시리즈 이전 편: 이미지 생성·이해 기술 리포트, 무엇을 읽을 것인가

시리즈 처음으로: 텍스트 LLM 기술 리포트, 무엇을 읽을 것인가

참고 자료

• Holistic Evaluation of Language Models (arXiv 2211.09110): arxiv.org/abs/2211.09110
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv 2306.05685): arxiv.org/abs/2306.05685
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design (arXiv 2310.11324): arxiv.org/abs/2310.11324
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples (arXiv 2311.04850): arxiv.org/abs/2311.04850
• A Careful Examination of Large Language Model Performance on Grade School Arithmetic (arXiv 2405.00332): arxiv.org/abs/2405.00332
• Lessons from the Trenches on Reproducible Evaluation of Language Models (arXiv 2405.14782): arxiv.org/abs/2405.14782
• Benchmark Data Contamination of Large Language Models: A Survey (arXiv 2406.04244): arxiv.org/abs/2406.04244
• LiveBench: A Challenging, Contamination-Limited LLM Benchmark (arXiv 2406.19314): arxiv.org/abs/2406.19314
• Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations (arXiv 2411.00640): arxiv.org/abs/2411.00640
• The Leaderboard Illusion (arXiv 2504.20879): arxiv.org/abs/2504.20879
• Open ASR Leaderboard (arXiv 2510.06961): arxiv.org/abs/2510.06961
• Judge Reliability Harness: Stress Testing the Reliability of LLM Judges (arXiv 2603.05399): arxiv.org/abs/2603.05399
• Towards Reliable LLM Evaluation: Correcting the Winner's Curse in Adaptive Benchmarking (arXiv 2605.05973): arxiv.org/abs/2605.05973