Skip to content
←

Split View: 리더보드와 벤치마크를 읽는 법 — SOTA는 왜 유통기한이 짧은가

|

리더보드와 벤치마크를 읽는 법 — SOTA는 왜 유통기한이 짧은가

들어가며

이 시리즈의 마지막 편은 모델이 아니라 숫자에 관한 것입니다. 앞선 다섯 편에서 저는 계속 같은 말을 반복했습니다. 이 수치는 저자 보고이고, 하네스가 달라지면 값이 달라진다고요. 이번 편은 그 문장의 근거를 논문으로 채웁니다.

논문 정보는 2026-08-12에 원문에서 직접 확인했습니다. 이 분야는 빠르게 바뀌므로 최신 상태는 직접 확인하세요.

"SOTA"가 유통기한이 짧은 이유

SOTA는 상태가 아니라 시점입니다. "X가 SOTA다"라는 문장은 사실 "내가 마지막으로 확인한 리더보드 스냅숏에서, 내가 쓴 하네스와 프롬프트로, 내가 고른 벤치마크에서 X가 위였다"의 줄임말입니다. 이 문장에서 생략된 조건이 넷인데, 그중 셋은 며칠 단위로 바뀝니다.

벤치마크 평가를 체계화하려 한 초기 시도인 HELM(arxiv.org/abs/2211.09110, 2022-11-16 등록)이 지적한 문제가 이것입니다. 저자들은 HELM 이전에 모델들이 평균적으로 핵심 시나리오의 17.9%에서만 평가되었다고 보고합니다. 서로 다른 부분집합에서 잰 점수로 순위를 매기고 있었다는 뜻입니다. 참고로 HELM 저자들은 자기 프레임워크의 공백도 함께 적습니다. 소외된 영어 방언의 질의응답과 신뢰성 지표가 부족하다는 것입니다.

오염: 시험지가 교과서에 섞일 때

가장 널리 알려진 문제지만 여전히 과소평가됩니다.

문자열 일치 제거로는 부족합니다. 재작성 표본을 다룬 논문(arxiv.org/abs/2311.04850, 2023-11-08 등록)은 테스트 데이터를 바꿔 쓰거나 번역만 해도 표준 정제가 뚫린다는 것을 보이고, 13B 모델이 벤치마크에 과적합해 매우 높은 점수를 낼 수 있음을 보고합니다. 실제 사전학습 코퍼스에서 HumanEval의 8~18%가 겹친다는 관찰도 함께 담겨 있습니다.

그러나 모든 모델이 오염된 것은 아닙니다. GSM8k를 본떠 새로 만든 GSM1k 논문(arxiv.org/abs/2405.00332, 2024-05-01 등록)은 최대 8%포인트 하락과 일부 모델 계열의 체계적 과적합을 보고하면서도, 특히 프런티어급 모델은 과적합 징후가 미미하며 모든 모델이 학습에 없던 새 문제로 일반화한다고 함께 적습니다. 오염 논의를 냉소로 끝내지 않는 게 중요합니다.

이 주제 전반은 오염 서베이(arxiv.org/abs/2406.04244, 2024-06-06 등록)에 정리되어 있습니다. 대응 중 하나는 문제를 계속 갈아 끼우는 것입니다. LiveBench(arxiv.org/abs/2406.19314, 2024-06-27 등록)는 최근 자료에서 문제를 매달 갱신하고 객관적 정답으로 자동 채점합니다. 제목이 오염 없음이 아니라 오염 제한이라는 점에 주목하세요. 저자들이 고른 단어입니다.

하네스와 프롬프트: 같은 모델, 다른 점수

여기가 실무자에게 가장 실질적인 부분입니다.

프롬프트 형식 민감도를 정량화한 논문(arxiv.org/abs/2310.11324, 2023-10-17 등록)은 소수샷 설정에서 사소한 형식 차이만으로 정확도가 최대 76점 벌어진 사례를 보고합니다. 모델을 키우거나 예시를 늘리거나 지시 조정을 해도 이 불안정성이 남았습니다. 저자들의 결론은 단호합니다. 임의로 고정한 형식 하나로 모델을 비교하는 방법론 자체가 타당한지 의심해야 하며, 단일 형식 점수 대신 그럴듯한 형식들에 걸친 성능 범위를 보고해야 한다는 것입니다.

같은 문제를 도구 쪽에서 다룬 것이 lm-eval-harness 팀의 기록(arxiv.org/abs/2405.14782, 2024-05-23 등록, v3는 2026-05-31)입니다. 평가 설정에 대한 민감도, 방법 간 비교의 어려움, 재현성과 투명성 부족을 나열하고, 암묵지로 떠돌던 지식을 문서화하려 합니다.

음성 쪽에도 같은 시도가 있습니다. Open ASR Leaderboard(arxiv.org/abs/2510.06961, 2025-10-08 등록)는 86개 시스템을 12개 데이터셋에서 비교하면서 서로 다른 툴킷에 걸쳐 WER과 RTFx를 표준화합니다. 표준화한 비교와 각자 잰 숫자는 다른 물건입니다.

자체 보고와 리더보드의 구조

기술 리포트의 점수는 자체 보고입니다. 그런데 공개 리더보드도 중립적인 저울은 아닙니다.

리더보드의 구조적 문제를 다룬 논문(arxiv.org/abs/2504.20879, 2025-04-29 등록)은 한 대형 경기장식 평가 플랫폼을 분석합니다. 비공개 사전 테스트로 여러 변형을 돌린 뒤 좋은 결과만 공개할 수 있다는 점, 표집이 비대칭이라 일부 대형 제공자가 각각 전체 대전 데이터의 약 19~20%를 받는 동안 83개 개방 가중치 모델이 합쳐서 약 30%를 받았다는 점, 그리고 추가 데이터가 보수적으로 잡아도 상대 성능을 최대 112%까지 끌어올릴 수 있다는 점을 보고합니다. 저자들의 결론은 이 지표가 일반적 모델 품질보다 그 경기장에 대한 과적합을 반영하게 된다는 것입니다.

심사자가 사람이 아닐 때

요즘 평가의 상당수는 LLM이 LLM을 채점합니다. 이 방식을 처음 체계화한 논문(arxiv.org/abs/2306.05685, 2023-06-09 등록)은 강한 심사자가 사람 선호와 80% 넘게 일치한다고 보고하면서, 동시에 위치 편향과 장황함 편향, 자기 선호 편향, 제한된 추론 능력을 함께 인정합니다. 장점과 한계가 같은 초록 안에 있습니다.

2026년의 후속 작업은 더 직설적입니다. 심사자 신뢰성 스트레스 테스트(arxiv.org/abs/2603.05399, 2026-03-05 등록)는 자신들이 평가한 어떤 심사자도 벤치마크 전반에 걸쳐 일관되게 신뢰할 만하지 않았다고 보고합니다. 단순한 서식 변경, 바꿔 쓰기, 장황함 조절, 정답 레이블 뒤집기만으로 판정이 흔들렸습니다. 저자들은 이를 예비 실험이라고 밝힙니다.

숫자에 오차 막대를 붙이기

마지막으로, 대부분의 평가 표에 빠진 것이 불확실성입니다. 평가를 실험으로 보고 통계를 붙이자는 논문(arxiv.org/abs/2411.00640, 2024-11-01 등록)은 평가 문항을 보이지 않는 모집단에서 뽑힌 표본으로 다루고, 두 모델의 차이를 재는 공식과 실험 설계 방법을 제시합니다.

여기에 최근 문제가 하나 더 붙었습니다. 적응적 벤치마킹의 승자의 저주를 다룬 논문(arxiv.org/abs/2605.05973, 2026-05-07 등록)은 튜닝 과정에서 벤치마크 문항을 재사용하면 선택 편향이 생겨 성능이 부풀려진다고 지적합니다. 즉 프롬프트와 설정을 탐색해 가장 좋은 결과를 고르는 순간, 그 점수는 새 데이터에서의 성능 추정치가 아니게 됩니다.

읽는 순서와 체크리스트

[리더보드 숫자를 볼 때의 질문]
 1. 누가 쟀나        : 저자 자체 측정인가 제3자인가
 2. 어떤 하네스인가  : 프롬프트 형식, 소수샷 수, 답 추출 규칙
 3. 언제 만든 문항인가 : 모델 학습 시점 이후인가
 4. 표집이 공정한가  : 누가 얼마나 많이 평가받았나
 5. 심사자는 누구인가 : 사람인가 모델인가, 편향 점검은 했나
 6. 오차 막대가 있나 : 차이가 잡음보다 큰가
 7. 튜닝에 썼나      : 그 벤치마크로 설정을 골랐나

이 일곱 개 중 세 개 이상에 답할 수 없다면, 그 숫자로 의사결정을 하면 안 됩니다.

확인 방법과 시점

이 글에 인용한 논문은 모두 2026-08-12에 arXiv 초록 페이지를 직접 열어 제목과 식별자, 등록일, 초록의 주장 내용을 확인했습니다. 열지 못한 후보는 인용하지 않았습니다. 인용한 수치는 각 논문 저자가 보고한 값입니다.

이 시리즈 전체가 지키려 한 규칙도 같습니다. 어떤 모델이 최고라고 쓰지 않고, 저자가 무엇을 주장했고 무엇을 스스로 한정했는지만 옮깁니다. 저는 어떤 벤치마크도 직접 재현하지 않았습니다.

직접 해보기

  • AI 벤치마크 모음 — 리더보드 사이트를 카테고리별로 모아뒀습니다. 위 체크리스트를 들고 아무 리더보드나 하나 열어 일곱 개 질문에 답해 보세요.
  • 브라우저 AI 실험실 — 감정 분석이나 제로샷 분류를 직접 돌려 보면, 같은 문장이라도 표현을 조금 바꿀 때 결과가 흔들리는 것을 눈으로 볼 수 있습니다.

시리즈 이전 편: 이미지 생성·이해 기술 리포트, 무엇을 읽을 것인가

시리즈 처음으로: 텍스트 LLM 기술 리포트, 무엇을 읽을 것인가

참고 자료

How to Read Leaderboards and Benchmarks: Why SOTA Has Such a Short Shelf Life

Introduction

The last part of this series is about numbers, not models. Across the previous five articles I kept repeating the same sentence: this figure is author-reported, and it changes with the harness. This part supplies the papers behind that sentence.

Paper details were verified directly from the primary sources on 2026-08-12. This field moves fast, so check the current state yourself.

Why SOTA has such a short shelf life

SOTA is a timestamp, not a state. "X is SOTA" is shorthand for "on the leaderboard snapshot I last checked, with the harness and prompt I used, on the benchmark I picked, X was above the others." Four conditions are elided in that sentence, and three of them change within days.

HELM (arxiv.org/abs/2211.09110, submitted 2022-11-16), an early attempt to systematize benchmark evaluation, names exactly this problem. The authors report that prior to HELM, models were on average evaluated on just 17.9% of the core scenarios, which means the field was ranking scores measured on different subsets. Worth noting: the HELM authors also list the gaps in their own framework, including question answering for neglected English dialects and metrics for trustworthiness.

Contamination: when the exam leaks into the textbook

The best-known problem, and still underrated.

String matching is not enough for decontamination. The paper on rephrased samples (arxiv.org/abs/2311.04850, submitted 2023-11-08) shows that paraphrasing or translating test data defeats standard decontamination, and reports that a 13B model can overfit a benchmark and reach drastically high performance. It also observes that 8 to 18% of HumanEval overlaps with real pre-training corpora.

But not every model is contaminated. The GSM1k paper (arxiv.org/abs/2405.00332, submitted 2024-05-01), which rebuilt a benchmark in the image of GSM8k, reports drops of up to 8% and systematic overfitting in several model families, while also stating that many models, especially frontier ones, show minimal signs of overfitting and that all models broadly generalize to novel problems guaranteed absent from training. Ending the contamination discussion in cynicism would misread it.

The subject as a whole is surveyed in the contamination survey (arxiv.org/abs/2406.04244, submitted 2024-06-06). One response is to keep replacing the questions. LiveBench (arxiv.org/abs/2406.19314, submitted 2024-06-27) refreshes questions monthly from recent sources and scores automatically against objective ground truth. Note that the title says contamination-limited, not contamination-free. That was the authors' word choice.

Harness and prompt: same model, different score

This is the part with the most practical bite.

The paper quantifying prompt format sensitivity (arxiv.org/abs/2310.11324, submitted 2023-10-17) reports performance differences of up to 76 accuracy points from trivial formatting changes in few-shot settings. The instability persisted across larger models, more examples and instruction tuning. The authors' conclusion is blunt: the methodological validity of comparing models with an arbitrarily chosen fixed format is itself in question, and evaluations should report a range of performance across plausible formats instead of a single-format number.

The same problem approached from the tooling side appears in the lm-eval-harness team's write-up (arxiv.org/abs/2405.14782, submitted 2024-05-23, v3 on 2026-05-31). It enumerates sensitivity to evaluation setup, difficulty of proper comparison across methods, and the lack of reproducibility and transparency, and tries to codify knowledge that had circulated only as folk practice.

Speech has its own version. The Open ASR Leaderboard (arxiv.org/abs/2510.06961, submitted 2025-10-08) compares 86 systems across 12 datasets while standardizing WER and RTFx across differing toolkits. A standardized comparison and a set of separately measured numbers are different objects.

Self-reported scores and the structure of leaderboards

Technical report scores are self-reported. But a public leaderboard is not a neutral scale either.

The paper analyzing leaderboard structure (arxiv.org/abs/2504.20879, submitted 2025-04-29) examines one large arena-style evaluation platform. It reports that private pre-testing lets a provider run many variants and disclose only the good ones, that sampling is asymmetric — a couple of large providers each received roughly 19 to 20% of arena data while 83 open-weight models received about 30% combined — and that limited additional arena data can produce relative gains of up to 112% under conservative estimates. The authors conclude that the metric ends up reflecting overfitting to arena-specific dynamics rather than general model quality.

When the judge is not human

A great deal of current evaluation is one LLM grading another. The paper that first systematized this (arxiv.org/abs/2306.05685, submitted 2023-06-09) reports that strong judges agree with human preferences over 80% of the time, while acknowledging in the same abstract position bias, verbosity bias, self-enhancement bias and limited reasoning ability. The strength and the limitation live in one paragraph.

The 2026 follow-up work is blunter. A judge reliability stress test (arxiv.org/abs/2603.05399, submitted 2026-03-05) reports that no judge they evaluated was uniformly reliable across benchmarks. Judgments shifted under simple text formatting changes, paraphrasing, verbosity changes and flipping the ground truth label. The authors describe these as preliminary experiments.

Putting error bars on the numbers

Finally, what is missing from most evaluation tables is uncertainty. The paper arguing that evals should be treated as experiments and analyzed statistically (arxiv.org/abs/2411.00640, submitted 2024-11-01) treats eval questions as drawn from an unseen super-population and supplies formulas for measuring differences between two models and for planning an evaluation experiment.

A newer problem sits on top of that. The paper on the winner's curse in adaptive benchmarking (arxiv.org/abs/2605.05973, submitted 2026-05-07) points out that reusing benchmark items inside tuning creates selection bias that inflates performance estimates. The moment you search prompts and settings and keep the best result, that score stops being an estimate of performance on fresh data.

Reading order and a checklist

[Questions to ask of any leaderboard number]
 1. Who measured it   : author self-measurement or third party
 2. Which harness     : prompt format, few-shot count, answer extraction
 3. When was it written: after the model training cutoff or before
 4. Is sampling fair  : who got evaluated how many times
 5. Who is the judge  : human or model, were biases checked
 6. Are there error bars: is the gap larger than the noise
 7. Was it used for tuning: did that benchmark pick the settings

If you cannot answer three or more of these seven, do not make a decision with that number.

How and when this was verified

Every paper cited here was verified on 2026-08-12 by opening the arXiv abstract page directly and reading the title, identifier, submission date and abstract claims. Candidates that could not be opened were not cited. Every figure quoted is a value reported by that paper's authors.

The rule this whole series tried to keep is the same. Never write that a model is best; only carry over what the authors claimed and what they limited themselves. I did not reproduce any benchmark myself.

Try it yourself

  • AI Benchmark Collection — leaderboard sites grouped by category. Take the checklist above, open any leaderboard, and try answering the seven questions.
  • Browser AI Lab — running sentiment analysis or zero-shot classification yourself lets you watch results wobble when the same sentence is worded slightly differently.

Previous in the series: Image Generation and Understanding Technical Reports: What to Read

Back to the start: Text LLM Technical Reports: What to Read

References