- Published on
에이전트를 프로덕션에 올리면 세 가지가 아픕니다. 첫째, 실패는 모델이 아니라 시스템 설계에서 납니다 — UC 버클리의 MAST 연구는 실행 트레이스 1642건을 분류해 14가지 실패 모드를 뽑았고, 그중 44.2%가 시스템 설계 이슈였습니다. 둘째, 가장 흔한 실패 모드 두 개(단계 반복 15.7%, 종료 조건 미인지 12.4%)가 곧바로 토큰 청구서입니다. 셋째, 바로 그 두 개가 재시도/멱등성 문제를 만듭니다 — 비결정적 호출자가 진짜 부작용을 굴리는데, MCP는 idempotentHint라는 힌트만 줄 뿐 멱등성 키 같은 메커니즘이 스펙에 아예 없고, IETF의 Idempotency-Key 드래프트는 2020년에 시작해 2026년 4월 만료된 채 RFC가 되지 못했습니다. 이 글은 실패 분류와 각 범주가 청구하는 비용의 종류, OTel GenAI 시맨틱 컨벤션에 비용 지표가 없다는 사실과 토큰을 그냥 더하면 틀리는 이유, 그리고 개입이 실제로 얼마나 효과가 있었는지(정직하게 말하면, 최선의 개입 뒤에도 코드 생성 성공률은 25.0%에서 40.6%였습니다)를 1차 자료로 확인해 정리합니다.