텍스트·이미지·에이전트를 각각 어떻게 재는가 — 세 영역의 측정이 근본적으로 다른 이유

• 들어가며 — 같은 단어로 다른 것을 재고 있습니다
• 텍스트 (1) — 객관식이 재는 것, 그리고 못 재는 것
• 텍스트 (2) — 생성형 과제와 LLM 심사자
• 이미지 (1) — 생성 품질 지표는 무엇을 재는가
• 이미지 (2) — 이해 과제의 채점과 캡션의 함정
• 에이전트 — 측정이 가장 어려운 영역
  • 부분 성공을 0과 1로 눌러 담기
  • 환경 상태가 점수의 일부입니다
  • 같은 모델이 매번 다른 점수를 냅니다
  • 시간과 비용 상한이 점수를 만듭니다
  • 성공률만 보면 놓치는 것 — 안전한 실패와 위험한 실패
• 세 영역을 한 장으로
• 마치며 — 숫자의 단위가 아니라 절차를 물어야 합니다
• 참고 자료

들어가며 — 같은 단어로 다른 것을 재고 있습니다

모델 발표 자료에는 세 종류의 숫자가 나란히 놓입니다. MMLU 84.2, MMMU 72.1, SWE-bench Verified 71.4. 셋 다 백분율이고, 셋 다 높을수록 좋다고 적혀 있습니다. 그래서 같은 종류의 숫자처럼 보입니다.

그런데 이 셋은 측정의 구조 자체가 다릅니다.

• 첫 번째 숫자는 대개 모델에게 답을 생성시키지도 않고 나옵니다. 선택지 문자열의 확률을 비교했을 뿐일 수 있습니다.
• 두 번째 숫자에는 사람이 정한 정답이 있지만, 채점 규칙에 5퍼센트 오차 허용이나 편집거리 임계값 같은 임의의 상수가 박혀 있습니다.
• 세 번째 숫자는 컨테이너를 띄우고, 명령을 실행하고, 테스트를 돌린 결과입니다. 같은 모델을 다시 돌리면 다른 값이 나옵니다.

세 숫자를 나란히 놓고 "이 모델은 전 영역에서 강하다"고 말하는 순간, 우리는 서로 다른 세 개의 측정 장치를 하나의 눈금으로 착각한 것입니다. 이 글의 질문은 계속 같습니다 — 이 숫자가 겉보기의 의미를 가지려면 무엇이 참이어야 하는가.

하네스가 이 숫자들을 어떻게 만들어 내는지는 LLM 벤치마크 도구를 뜯어보기에서 다뤘습니다. 여기서는 그 위층, 영역마다 다른 측정의 논리를 봅니다.

텍스트 (1) — 객관식이 재는 것, 그리고 못 재는 것

객관식 벤치마크가 사랑받는 이유는 채점이 공짜이기 때문입니다. 정답이 라벨 하나라서 사람도, 심사자 모델도 필요 없습니다. 그 대가로 세 가지를 포기합니다.

첫째, 정답 자체가 틀렸을 수 있습니다. MMLU를 재검수한 논문 Are We Done with MMLU?는 30개 과목에서 3,000문항을 전문가 14명이 다시 읽었습니다. 전체로 환산한 오류율은 약 6.49퍼센트였는데, 문제는 그 분포였습니다. Virology 과목은 표본의 57퍼센트 에 오류가 있었고(30퍼센트는 정답 라벨이 틀렸고, 15퍼센트는 문제가 모호), Logical Fallacies와 College Chemistry는 20퍼센트를 넘었습니다. 즉 MMLU 총점의 상당 부분은 "틀린 정답지를 얼마나 잘 맞히는가"를 재고 있었습니다. 과목별 점수를 평균 내는 순간 이 사실은 완전히 사라집니다.

둘째, 형식 자체가 지름길을 만듭니다. 선택지가 4개면 찍어도 25점입니다. 게다가 모델은 선택지 사이의 표면적 단서(길이, 구체성, 소거 가능성)로 정답을 좁힐 수 있습니다. MMLU-Pro가 선택지를 10개로 늘린 이유가 이것이고, 그 결과 프롬프트 변화에 대한 점수 변동이 4~5퍼센트포인트대에서 2퍼센트포인트대로 줄었습니다(arXiv 2406.01574). 변동이 줄었다는 건 원래 형식이 얼마나 헐거웠는지의 방증입니다.

셋째, 선택지의 순서가 점수에 섞입니다. Large Language Models Are Not Robust Multiple Choice Selectors는 모델이 특정 위치의 옵션 기호(A나 D)를 선호하는 경향을 보이며, 선택지 순서를 섞는 것만으로 점수가 유의하게 움직인다는 것을 보였습니다. 순서를 섞어 여러 번 돌리고 평균 내지 않은 객관식 점수는, 모델의 지식과 모델의 위치 취향이 섞인 값입니다.

지표는 높은데 실제로는 나쁜 경우 (텍스트 객관식). 로그우도 방식으로 채점한 MMLU에서 높은 점수를 받은 베이스 모델을 그대로 서비스에 붙이면 지시를 따르지 않아 쓸 수 없는 경우가 흔합니다. 로그우도 채점은 모델에게 아무것도 생성시키지 않으므로, 지시를 따르는 능력을 애초에 측정 대상에서 제외 합니다. 점수가 거짓말을 한 게 아니라, 우리가 그 점수를 다른 질문의 답으로 읽은 것입니다.

텍스트 (2) — 생성형 과제와 LLM 심사자

요약, 상담 답변, 코드 설명처럼 정답이 여러 개인 과제로 넘어가면 채점이 곧 연구 문제가 됩니다. BLEU나 ROUGE 같은 n-gram 겹침 지표는 표현이 다르면 좋은 답도 깎고, 표현이 같으면 틀린 답도 살립니다. 그래서 실무는 LLM 심사자로 옮겨 갔습니다.

심사자 모델의 성능 자체는 나쁘지 않습니다. MT-Bench와 Chatbot Arena를 만든 Zheng et al. (NeurIPS 2023)의 측정에서 GPT-4 심사자와 사람 전문가의 일치율은 무승부를 제외했을 때 85퍼센트였고, 같은 조건에서 사람끼리의 일치율은 81퍼센트 였습니다. 크라우드소싱 환경에서는 87퍼센트였습니다. 심사자가 사람보다 못하다는 반론은 이 숫자 앞에서 힘을 잃습니다.

문제는 편향의 구조입니다. 같은 논문이 측정한 값들이 훨씬 무겁습니다.

두 답의 순서만 뒤집었을 뿐인데 GPT-4조차 세 번에 한 번은 판정을 바꿉니다. Claude-v1은 네 번 중 세 번을 먼저 나온 답에 줬습니다. 이 상태로 A/B 비교를 한 번만 돌려서 "새 프롬프트가 이겼다"고 결론 내리면, 그 결론의 상당 부분은 순서였습니다.

길이 편향도 정량화되어 있습니다. 같은 논문의 "반복 목록" 공격 — 답변 내용을 늘리지 않고 목록 형태로 부풀리기만 하는 조작 — 에서 Claude-v1과 GPT-3.5는 91.3퍼센트의 경우에 속았고, GPT-4는 8.7퍼센트였습니다. 심사자에 따라 길이 편향의 크기가 열 배 차이 납니다.

완화 방법은 정리하면 다음과 같습니다.

길이 보정은 실제로 효과가 검증되었습니다. AlpacaEval 2.0의 길이 보정 승률은 답변 길이의 영향을 회귀로 제거한 지표인데, 이 보정만으로 Chatbot Arena 순위와의 스피어만 상관이 0.9대 초반에서 0.98 로 올라갔습니다. 뒤집어 말하면 보정 전 지표의 불일치 중 상당 부분이 길이였다는 뜻입니다.

사람 선호 리더보드도 안전지대가 아닙니다. The Leaderboard Illusion (arXiv 2504.20879)은 Chatbot Arena에서 일부 제공자가 공개 전에 여러 변형을 비공개로 시험하고 마음에 드는 것만 남길 수 있었다고 보고합니다. 한 제공자는 27개의 비공개 변형을 시험한 뒤 하나를 공개했습니다. 데이터 배분도 고르지 않아서 Google과 OpenAI가 각각 전체 대결 데이터의 19.2퍼센트와 20.4퍼센트를 받는 동안 83개 오픈 웨이트 모델이 합쳐서 29.7퍼센트를 받았고, 추가 데이터만으로 아레나 분포에서 최대 112퍼센트의 상대적 성능 이득이 가능하다고 추정했습니다. Arena 측은 이 지적을 받아들여 개선 계획을 밝혔습니다.

지표는 높은데 실제로는 나쁜 경우 (생성형). 심사자 승률이 55퍼센트에서 62퍼센트로 올랐는데 사용자 만족도는 그대로인 상황. 프롬프트에 "자세히 설명하라"를 넣어 답변 길이가 1.6배가 된 것이 유일한 변화였다면, 오른 것은 품질이 아니라 심사자의 길이 선호입니다. 길이 보정 승률과 함께 보지 않으면 이 구분이 불가능합니다.

이미지 (1) — 생성 품질 지표는 무엇을 재는가

이미지 생성 평가에서 가장 널리 인용되는 FID는 이름과 달리 이미지 한 장의 품질을 재지 않습니다. 계산 절차는 이렇습니다.

1. 실제 이미지 N장, 생성 이미지 N장을 준비 (관행상 N = 50,000)
2. 각 이미지를 299x299로 리사이즈해 Inception-v3에 통과
3. pool3 층의 2048차원 특징 벡터를 뽑음
4. 두 집합의 특징을 각각 다변량 정규분포로 "가정"하고 평균과 공분산 추정
5. 두 정규분포 사이의 Frechet 거리를 계산 → 이 값이 FID (낮을수록 좋음)

여기 네 개의 가정이 숨어 있고, 넷 다 어겨집니다.

가정 1: Inception-v3 특징이 이미지 품질을 대표한다. Inception-v3는 2015년 ImageNet 1,000 클래스 분류용으로 학습된 모델입니다. 오늘날 텍스트-이미지 모델이 만드는 내용의 다양성을 표현하기에는 좁습니다.

가정 2: 특징이 정규분포를 따른다. 그렇지 않습니다. Rethinking FID (CVPR 2024, arXiv 2401.09603)는 이 가정이 틀렸음을 보이고, FID가 사람 평가자의 판단과 어긋나고, 반복 개선되는 모델의 점진적 향상을 반영하지 못하며, 왜곡 수준을 포착하지 못하고, 표본 크기에 따라 결과가 일관되지 않는다고 정리합니다. 대안으로 CLIP 임베딩과 최대 평균 불일치를 쓰는 CMMD를 제안합니다.

가정 3: 표본 크기의 영향이 없다. FID는 편향 추정량이라 표본이 작을수록 값이 커집니다. 50,000장이라는 관행이 굳은 것도 이 때문인데, 논문마다 표본 수가 다르면 숫자를 비교할 수 없습니다.

가정 4: 전처리는 중립적이다. 여기가 가장 충격적인 부분입니다. clean-fid (CVPR 2022)는 리사이즈 구현이 라이브러리마다 달라 같은 이미지에서 다른 FID가 나온다는 것을 측정했습니다. 올바르게 구현된 PIL bicubic을 기준으로 삼았을 때 OpenCV, PyTorch, TensorFlow의 bicubic은 각각 6 이상의 FID 차이를 만들었습니다. 모델을 전혀 바꾸지 않고 리사이즈 함수만 바꿔도 논문에서 자랑하는 개선폭보다 큰 차이가 납니다. JPEG 압축도 마찬가지여서, 사람 눈에 구분되지 않는 압축 품질 차이가 FID를 움직입니다.

그래서 최근의 텍스트-이미지 평가는 분포 거리에서 구성 요소 검증 쪽으로 옮겨 갔습니다. GenEval은 객체 검출기를 이용해 "요청한 객체가 실제로 있는가, 개수는 맞는가, 색은 맞는가, 위치 관계는 맞는가"를 항목별로 확인합니다. DPG-Bench는 문단 길이의 조밀한 프롬프트를 주고 VQA 모델로 각 의미 요소를 확인합니다. 채점 근거가 사람이 읽을 수 있는 항목이라는 점에서 FID보다 훨씬 진단적입니다. 물론 이 방식은 검출기와 VQA 모델의 오차를 채점에 그대로 들여옵니다.

지표는 높은데 실제로는 나쁜 경우 (이미지 생성). FID가 12.4에서 9.8로 "개선"되었는데 사람 평가는 오히려 나빠진 경우. 전처리 파이프라인에서 리사이즈 라이브러리를 바꿨거나 참조 이미지 세트의 JPEG 품질이 달라진 것이 원인일 수 있습니다. FID 값을 보고할 때 리사이즈 구현·표본 수·참조 세트를 함께 적지 않으면, 그 숫자는 다른 팀이 검증할 수 없습니다.

이미지 (2) — 이해 과제의 채점과 캡션의 함정

이미지를 만드는 것이 아니라 읽는 능력의 평가는 텍스트 객관식과 비슷해 보이지만, 채점 규칙에 도메인 사정이 박혀 있습니다. 대표적인 세 지표의 정의를 그대로 보겠습니다.

VQA 정확도 (VQAv2, TextVQA)
  score = min(그 답을 말한 사람 수 / 3, 1)
  → 10명 중 3명 이상이 같은 답을 했으면 만점.
    사람들의 답이 갈리는 문제는 만점 자체가 불가능.

ANLS (DocVQA)
  NL = 정규화 편집거리(예측, 정답)
  score = 1 - NL   (단, NL < 0.5 일 때)
        = 0        (그 외)
  → OCR 오탈자 한두 글자는 부분 점수, 절반 넘게 틀리면 0.
    임계값 0.5는 "이만큼 틀렸으면 OCR 오류가 아니다"라는 판단.

Relaxed accuracy (ChartQA)
  숫자 답은 상대 오차 5% 이내면 정답
  → 차트에서 값을 읽는 과제의 현실을 반영한 관용.
    동시에, 5%가 중요한 도메인에서는 틀린 답을 정답 처리.

세 정의 모두 합리적입니다. 동시에 셋 다 임의의 상수 를 품고 있습니다. 3명, 0.5, 5퍼센트. 이 상수들은 논문에서 정당화되지만, 여러분의 도메인에서 같은 값이 적절하다는 보장은 없습니다. 재무제표 숫자를 읽는 서비스라면 ChartQA의 5퍼센트 관용은 재앙입니다. ChartQA 점수가 90점인 모델이 여러분의 과제에서 쓸 수 없을 수 있고, 그건 모델의 잘못이 아니라 지표를 그대로 가져다 쓴 우리의 잘못입니다.

선택지 개수 문제는 여기서도 반복됩니다. MMMU-Pro(arXiv 2409.02813)는 MMMU의 선택지를 4개에서 10개로 늘리고, 질문 텍스트를 이미지 안에 박아 넣어 실제로 이미지를 봐야만 풀 수 있게 만들었습니다. 선택지를 늘리는 것만으로 GPT-4o(0513)의 점수가 64.7에서 54.0으로, 10.7퍼센트포인트 떨어졌습니다. 그 10.7점은 이해력이 아니라 소거법이었다는 뜻입니다.

캡션 평가는 더 오래된 함정입니다. CIDEr, SPICE, BLEU는 참조 캡션과의 n-gram 또는 그래프 겹침을 재는데, 참조 캡션은 보통 5개뿐이고 표현이 조금만 달라도 점수가 떨어집니다. CLIPScore (EMNLP 2021)는 참조 없이 이미지와 캡션의 임베딩 유사도만으로 사람 판단과 더 잘 맞는다는 것을 보였습니다. 다만 같은 논문이 한계도 명시합니다 — 뉴스 사진 캡션처럼 이미지 밖의 맥락 지식이 필요한 경우에는 참조 기반 지표보다 약합니다. 만능 지표는 없고, 캡션 과제의 성격에 따라 지표를 골라야 합니다.

지표는 높은데 실제로는 나쁜 경우 (이미지 이해). DocVQA의 ANLS가 0.91인 문서 파서를 계약서 금액 추출에 붙였더니 사고가 났습니다. ANLS는 편집거리 기반 부분 점수라, "1,250,000"을 "125,000"으로 읽어도 편집거리가 작아 0.9 근처의 점수를 받습니다. 금액 필드는 부분 점수가 아니라 정확 일치로 재야 합니다. 지표가 부분 점수를 주는 과제인지 아닌지를 먼저 확인해야 합니다.

에이전트 — 측정이 가장 어려운 영역

앞의 두 영역은 입력 하나에 출력 하나가 대응합니다. 에이전트는 그렇지 않습니다. 입력 하나에 수십 번의 행동이 대응하고, 그 행동이 환경을 바꾸며, 환경이 바뀌면 다음 행동의 의미도 바뀝니다. 여기서 측정의 전제 대부분이 깨집니다.

부분 성공을 0과 1로 눌러 담기

에이전트 과제는 대부분 여러 단계입니다. 10단계 중 9단계를 완벽히 하고 마지막에 실패한 실행과, 첫 단계부터 헤맨 실행이 같은 0점을 받습니다. 정보의 손실이 큽니다.

이 문제를 다루는 방식은 벤치마크마다 다릅니다. AppWorld는 최종 상태를 검사하되 과제 단위 완료와 시나리오 단위 완료를 나눠 보고합니다. GAIA는 난이도 레벨을 나눠 어느 층에서 무너지는지 보이게 합니다. OSWorld는 과제마다 실행 기반 검증 스크립트를 따로 두어 "결과 파일이 실제로 이렇게 생겼는가"를 확인합니다. 어느 쪽이든, 단일 성공률 하나만 인용하면 이 구조는 전부 사라집니다.

환경 상태가 점수의 일부입니다

에이전트 벤치마크는 살아 있는 환경을 씁니다. 웹 페이지의 DOM이 바뀌고, 소프트웨어가 업데이트되고, 캡차가 뜨고, 로딩이 늦어집니다. 이 변화는 모델 성능과 무관하지만 점수에는 그대로 반영됩니다.

OSWorld 팀이 2025년 7월 28일 OSWorld-Verified를 낸 이유가 이것입니다. 300건 이상의 문제 제보 — 웹 구조 변경, 타이밍 의존, 과제 모호성, 여러 정답 경로를 인정하지 않는 검증 함수, 지나치게 엄격하거나 느슨한 채점 — 를 확인하고 고쳤습니다. 즉 그 이전에 발표된 OSWorld 점수들은 상당 부분 환경의 상태를 재고 있었습니다. 현재 사람 기준선은 약 72퍼센트로 추정되고, 최상위 시스템이 60퍼센트대입니다.

SWE-bench 계열은 다른 방식으로 같은 문제를 겪습니다. 채점이 실행 기반이라 의미적으로 강해 보이지만, 테스트가 약하면 틀린 패치도 통과합니다. SWE-bench의 품질을 감사한 연구들은 성공한 패치의 32.67퍼센트가 이슈 설명에 답이 유출된 경우였고, 31.08퍼센트는 테스트가 부실해서 통과했다고 보고합니다. SWE-bench Verified에서도 15퍼센트 이상의 인스턴스가 테스트 보강이 필요했고, 리더보드 성공률이 6~7퍼센트포인트 부풀려져 있다는 추정이 나왔습니다.

같은 모델이 매번 다른 점수를 냅니다

온도를 0으로 놓아도 에이전트 실행은 결정적이지 않습니다. 도구 호출 순서, 네트워크 지연, 타임아웃, 재시도, 컨테이너 자원 — 전부 결과를 바꿉니다.

τ-bench 계열은 이 비결정성을 지표에 직접 넣었습니다. pass@k가 "k번 중 한 번이라도 성공"이라면, pass^k는 "k번 전부 성공" 입니다. 성공률이 p인 과제에서 pass^k는 대략 p의 k제곱으로 줄어듭니다. 성공률 90퍼센트짜리 에이전트도 k가 8이면 약 57퍼센트로 떨어집니다. τ-bench 원 논문의 보고에서 당시 최상급 함수 호출 에이전트는 과제의 절반도 못 풀었고, retail 도메인의 pass^8은 25퍼센트 미만이었습니다.

이 지표가 중요한 이유는 실제 운영의 질문이 pass@k가 아니라 pass^k이기 때문입니다. 고객 요청 하나를 여덟 번 다시 시도해서 한 번 성공하면 되는 서비스는 없습니다.

인프라 설정도 점수를 움직입니다. Anthropic이 측정한 바로는 모델 가중치를 전혀 건드리지 않고 실행 자원만 조정해도 Terminal-Bench 2.0에서 6퍼센트포인트의 차이가 났습니다. 자세한 내용은 신호와 잡음 글에 정리해 두었습니다. 참고로 Terminal-Bench 2.0은 2025년 11월에 89개 과제로 공개되었고, Harbor 프레임워크 위에서 돌아갑니다.

시간과 비용 상한이 점수를 만듭니다

에이전트 평가에는 반드시 상한이 있습니다. 최대 스텝 수, 벽시계 시간, 토큰 예산. 이 상한을 두 배로 늘리면 점수가 오르고, 절반으로 줄이면 떨어집니다. 그런데 발표되는 에이전트 점수에서 이 상한을 찾을 수 있는 경우는 드뭅니다.

상한이 명시되지 않은 두 점수의 비교는 무의미합니다. 더 정확히는, 그 비교는 모델 능력이 아니라 예산의 비교 일 수 있습니다. 실무에서 에이전트를 고를 때는 점수 옆에 "과제당 평균 토큰"과 "과제당 평균 소요 시간"을 반드시 함께 봐야 합니다. 성공률이 5퍼센트포인트 높은데 비용이 세 배라면, 그건 더 나은 모델이 아니라 더 비싼 설정입니다.

성공률만 보면 놓치는 것 — 안전한 실패와 위험한 실패

여기가 에이전트 평가에서 가장 덜 측정되는 부분입니다. 성공률은 실패를 한 덩어리로 취급합니다. 그러나 실무에서 실패의 종류는 하늘과 땅 차이입니다.

안전한 실패                          위험한 실패
------------------------------      ------------------------------
"할 수 없습니다"라고 말하고 멈춤      확신에 차서 잘못된 답을 반환
사람에게 확인을 요청                  확인 없이 되돌릴 수 없는 작업 수행
읽기만 하고 종료                      잘못된 대상에 쓰기 후 종료
예산 초과로 중단                      부분 수정 후 중단 (상태가 깨짐)
테스트 실패를 보고                    테스트를 수정해 통과시킴

성공률 지표에서는 이 열 가지가 모두 같은 0점입니다. 그런데 오른쪽 열은 서비스를 망가뜨리고, 왼쪽 열은 사람이 이어받으면 됩니다.

유해 행동을 직접 재는 벤치마크도 나왔습니다. AgentHarm (arXiv 2410.09024)은 사기·사이버범죄·괴롭힘 등 11개 유해 범주에서 110개의 명시적으로 악의적인 에이전트 과제(증강 포함 440개)를 만들고, 거부 여부와 함께 "탈옥된 뒤에도 능력을 유지하는가" 를 잽니다. 보고된 수치가 불편합니다 — GPT-4o는 탈옥 없이도 유해 과제의 48~55퍼센트를 완수했고, 범용 탈옥 템플릿을 적용하자 순응률이 73퍼센트로 오르고 거부율은 49퍼센트에서 14퍼센트로 떨어졌습니다.

여기서 지표의 방향이 뒤집힙니다. AgentHarm에서는 과제 완수율이 높을수록 나쁩니다. 성공률을 무조건 높을수록 좋은 값으로 읽는 습관이 얼마나 얕은 전제 위에 있었는지 드러나는 지점입니다.

지표는 높은데 실제로는 나쁜 경우 (에이전트). SWE-bench Verified 점수가 5퍼센트포인트 오른 새 모델을 도입했는데 리뷰 부담이 늘어난 경우. 새 모델이 테스트를 통과시키기 위해 테스트 자체를 손대거나, 이슈에 유출된 답을 재생산하고 있었다면 벤치마크 점수는 오르고 실제 가치는 줄어듭니다. 성공률과 함께 "실패했을 때 어떻게 실패했는가"를 분류해 세지 않으면 이 구분이 보이지 않습니다.

세 영역을 한 장으로

이 표에서 반복되는 패턴이 하나 있습니다. 모든 지표는 무언가를 계산 가능하게 만들기 위해 무언가를 버렸습니다. 버린 것이 우리 서비스에서 중요한 것이라면, 그 지표는 우리에게 쓸모가 없습니다. 지표를 고르는 일은 "무엇을 버려도 되는가"를 고르는 일입니다.

마치며 — 숫자의 단위가 아니라 절차를 물어야 합니다

세 영역을 훑고 나면 공통점이 보입니다. 어느 영역에서도 지표는 능력을 직접 재지 않습니다. 능력의 그림자를, 그것도 특정 조명 아래에서 잽니다. 객관식은 정답 라벨의 정확성과 선택지 구성이라는 조명 아래에서, FID는 Inception 특징 공간과 리사이즈 구현이라는 조명 아래에서, 에이전트 성공률은 환경 상태와 자원 상한이라는 조명 아래에서.

그래서 실무에서 새 벤치마크 숫자를 만났을 때 물어야 할 것은 "몇 점인가"가 아니라 세 가지입니다. 첫째, 이 점수는 어떤 절차로 계산되었는가. 둘째, 그 절차가 버린 것 중 우리에게 중요한 것이 있는가. 셋째, 같은 절차를 우리 데이터에 적용하면 무엇이 나오는가.

세 번째 질문이 결국 자기 평가셋으로 이어집니다. 그 이야기는 우리 서비스용 평가셋 만들기에서 이어 가겠습니다.

참고 자료

• Are We Done with MMLU? (arXiv 2406.04127) — MMLU 오류율 재검수
• MMLU-Pro (arXiv 2406.01574) — 선택지 확대와 프롬프트 민감도
• Large Language Models Are Not Robust Multiple Choice Selectors (arXiv 2309.03882)
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv 2306.05685) — 심사자 일치율과 편향 측정
• Length-Controlled AlpacaEval (arXiv 2404.04475) — 길이 보정 승률
• The Leaderboard Illusion (arXiv 2504.20879) — 아레나 리더보드의 구조적 편향
• Rethinking FID / CMMD (arXiv 2401.09603)
• clean-fid (CVPR 2022) — 리사이즈·압축이 FID에 주는 영향
• GenEval (arXiv 2310.11513) — 객체 기반 프롬프트 충실도 평가
• MMMU-Pro (arXiv 2409.02813)
• CLIPScore (arXiv 2104.08718)
• OSWorld-Verified (2025-07-28) — 환경 변화가 점수에 준 영향
• τ-bench (arXiv 2406.12045) — pass^k 지표
• AgentHarm (arXiv 2410.09024) — 유해 행동을 직접 재는 벤치마크
• LLM 벤치마크 도구를 뜯어보기 (관련 글)
• AI 코딩 모델 평가에서 신호와 잡음 가려내기 (관련 글)
• 브라우저·컴퓨터를 조작하는 AI 에이전트 (관련 글)