- Published on
τ-bench 계열의 대화형 에이전트 벤치마크에서 "사용자" 역할은 또 다른 LLM이 맡습니다. 그런데 이 시뮬레이터는 측정 대상이 아니라 측정 도구이고, 도구는 교정을 받아야 합니다. 2026년에 나온 세 편의 검증 연구는 같은 방향을 가리킵니다 — 시뮬레이션된 사용자는 너무 협조적입니다. 실제 사람 451명으로 τ-bench 프로토콜을 그대로 돌린 연구는 시뮬레이터가 만드는 "이지 모드"가 에이전트 성공률을 인간 기준선 위로 부풀린다고 보고했고, 다른 연구는 유저 LLM을 무엇으로 고르느냐에 따라 성공률이 최대 9%p 흔들린다고 보고했습니다. 가장 날카로운 증거는 실제 결제 기록이 붙은 2,790건의 프로덕션 판매 대화에서 나왔습니다 — 시뮬레이터는 결국 구매한 사람은 거의 정확히 재현하지만, 결국 떠난 사람은 구매 프레임 쪽으로 끌어당깁니다. 이 글은 그 측정 방법과 숫자, 프롬프트로는 왜 고쳐지지 않는지, 그리고 저자들이 직접 밝힌 한계(단일 도메인·단일 언어, LLM 심사자, 자유 롤아웃 미측정)까지 정리합니다.