필사 모드: KV 캐시를 4비트로 — SAW-INT4와 시스템을 아는 INT4 양자화

• 들어가며 — 가중치 다음의 병목
• KV 캐시가 진짜 병목인 이유
• 순진한 INT4는 왜 무너지나
• 회전 트릭 — 블록 대각 아다마르
• 시스템이 곧 설계다 — 융합 커널
• 마치며 — 무엇이 흥미롭고 무엇이 불확실한가
• 참고 자료

들어가며 — 가중치 다음의 병목

지난 양자화 정리의 끝에서 저는 "다음 전장은 KV 캐시"라고 적었습니다. 2026년 4월에 공개된 프리프린트 SAW-INT4 — "System-Aware 4-Bit KV-Cache Quantization for Real-World LLM Serving"(Jia 외, 공저자에 Tri Dao·Tianyi Zhang 등 포함) — 가 정확히 그 전장을 파고듭니다. 초록의 첫 문장은 단호합니다: KV 캐시 메모리는 실제 LLM 서빙의 주요 병목이다.

이 글은 그 프리프린트를 ML 인프라 엔지니어의 눈으로 읽는 해설입니다. 왜 긴 컨텍스트에서 KV 캐시가 진짜 병목인지, 순진한 INT4가 왜 무너지는지, 아다마르 회전이라는 트릭이 무엇을 하는지, 그리고 이 논문의 진짜 각도 — 정확도뿐 아니라 처리량까지 함께 지킨다는 시스템 관점 — 을 정리합니다. 미리 밝혀 둘 것: 이 논문은 아직 동료평가를 거치지 않은 프리프린트이고, 초록에는 구체적 벤치마크 수치가 제시되지 않습니다. 그래서 아래의 정량 주장은 모두 저자들의 보고이며 독립적으로 검증된 값이 아닙니다.

KV 캐시가 진짜 병목인 이유

트랜스포머는 디코딩 중 이미 본 토큰의 키(K)와 값(V)을 다시 계산하지 않으려고 캐시에 쌓아 둡니다. 이 KV 캐시의 크기는 시퀀스 길이와 배치 크기에 선형으로 비례합니다. 대략적인 감을 잡자면, 토큰 하나가 차지하는 KV 항목은 (K와 V 둘) × (레이어 수) × (KV 헤드 차원) × (정밀도 바이트)입니다. 70B급 모델이면 토큰당 수백 KB 수준이고, 여기에 수만 토큰과 동시 요청 수를 곱하면 금세 수십 GB에 이릅니다. 가중치를 4비트로 다 짜내고 나면, 긴 컨텍스트 서빙에서 남는 가장 큰 메모리 소비자가 바로 이 캐시입니다.

논문이 예리한 지점은 여기서부터입니다. 저자들은 KV 캐시 압축을 "오프라인 정확도" 문제가 아니라 서빙 제약 문제로 다룹니다. 실제 서빙 시스템은 두 가지 상반된 부하를 동시에 감당해야 합니다 — 지연에 민감한 소규모 배치 요청과, 처리량이 중요한 대규모 동시 요청입니다. 게다가 현대 서빙 엔진은 페이지드 메모리 레이아웃(PagedAttention 계열), 규칙적인 메모리 접근, 융합 어텐션 실행(FlashAttention 계열)을 전제로 돌아갑니다. 초록의 지적은 뼈아픕니다: 많은 KV 압축 기법이 오프라인 정확도나 압축률은 개선하지만, 바로 이 제약들을 위반해 실제 배포에서 쓸모가 없어진다는 것입니다. 그래서 저자들은 먼저 "이 제약 아래에서 살아남는 4비트 기법의 최소 집합"을 추립니다.

순진한 INT4는 왜 무너지나

KV 캐시를 그냥 균일하게 INT4로 양자화하면 어떻게 될까요? 초록은 담담하게 순진한(naive) INT4는 정확도를 잃는다고 말합니다. 그 잃은 정확도를 되찾는 것이 이 논문의 목표죠. 왜 잃는지는 지난 글의 주제와 같습니다 — 이상치(outlier). KV 텐서에도 유난히 큰 값을 갖는 채널이 존재하고, 균일한 4비트 격자는 이 넓은 동적 범위를 억지로 16단계에 밀어 넣느라 대부분을 차지하는 평범한 값들에서 큰 반올림 오차를 냅니다. (이 이상치 메커니즘 자체는 양자화 문헌의 일반 상식이며, 초록이 KV 캐시에 대해 새로 증명한 부분은 아닙니다.)

여기서 논문의 첫 번째 설계 선택이 따라 나옵니다: 토큰 단위(token-wise) 양자화 — 채널 단위가 아니라 토큰마다 별도의 스케일을 두는 방식입니다. 디코딩이 토큰을 한 개씩 이어 붙이는 과정이라는 점과 궁합이 좋습니다 — 새 토큰의 K/V가 나오는 즉시 그 토큰의 스케일로 양자화해 페이지드 블록에 append하면 되고, 과거 토큰을 다시 건드릴 필요가 없습니다. 규칙적 접근과 페이지드 레이아웃을 깨지 않는다는 뜻이죠.

회전 트릭 — 블록 대각 아다마르

토큰 단위 스케일만으로는 이상치가 사라지지 않습니다. 논문의 핵심 재료가 여기서 등장합니다: 블록 대각 아다마르 회전(block-diagonal Hadamard rotation).

직관은 이렇습니다. 아다마르 변환은 직교 회전 — 즉 나중에 정확히 되돌릴 수 있는(수학적으로 무손실인) 변환 — 이면서, 각 채널을 다른 모든 채널에 골고루 섞습니다. 한 채널에 몰려 있던 이상치가 회전 후에는 여러 차원에 얇게 펼쳐지므로, 어느 한 값도 더는 튀지 않습니다. 그 결과 균일한 INT4 버킷이 훨씬 잘 들어맞습니다. 이 "회전으로 이상치를 흩뜨린다"는 아이디어는 QuaRot·SpinQuant 계보의 것이고, SAW-INT4는 이를 KV 캐시에 맞게 가져옵니다. 블록 대각이라는 한정어가 중요합니다 — 거대한 단일 회전 대신 블록 안에서만 회전을 적용해 비용을 낮추고 페이지드 레이아웃과의 호환을 유지합니다.

초록이 내놓는 중심 발견은 이렇습니다: 이 단순한 조합 — 토큰 단위 INT4 + 블록 대각 아다마르 회전 — 이 여러 모델·벤치마크에서 정확도-효율 트레이드오프를 가장 잘 잡고, 순진한 INT4가 잃은 정확도를 거의 전부 되찾는다는 것입니다. 그리고 개인적으로 가장 흥미로운 대목 — 벡터 양자화나 헤시안 기반 양자화 같은 더 복잡한 기법들은, 서빙 호환성까지 계산에 넣고 나면 추가 이득이 미미했다고 저자들은 보고합니다. 오프라인 벤치마크만 보면 화려한 기법이 이기지만, 페이지드·융합 실행이라는 현실 제약을 걸면 그 우위가 대부분 사라진다는 뜻입니다.

시스템이 곧 설계다 — 융합 커널

정확도를 되찾아도 회전과 양자화가 추론 경로에 오버헤드를 더한다면 서빙에서는 손해입니다. 그래서 논문의 나머지 절반은 커널 엔지니어링입니다.

디코딩 중 새 토큰마다:

  K,V (fp16)
     │
     ▼
  ┌──────────── 융합 커널 ────────────┐
  │  블록 대각 아다마르 회전            │   ← 이상치를 흩뜨림
  │  토큰 단위 INT4 양자화             │   ← 토큰마다 스케일 하나
  └───────────────────┬───────────────┘
                      ▼
        페이지드 KV 블록에 append          ← 과거 토큰 재방문 없음

저자 보고: 측정 가능한 종단 오버헤드 0,
          동시성 전 구간에서 순수 INT4 처리량.

저자들은 회전과 양자화를 하나로 묶은 **융합 커널(fused rotation-quantization kernel)**을 구현해 페이지드 KV 캐시 레이아웃에 직접 통합했고, 측정 가능한 종단(end-to-end) 오버헤드가 0이며 다양한 동시성 수준에서 순수 INT4와 같은 처리량을 낸다고 보고합니다. 이 지점이 "시스템 인지(system-aware)"라는 제목의 핵심입니다. 정확도 회복(회전)과 서빙 효율(융합 커널·페이지드 통합)을 따로 자랑하는 게 아니라, 둘을 하나의 제약 조건 안에서 동시에 만족시켜야 한다는 주장이죠. 초록의 결론 문장은 이 관점을 압축합니다: 효과적인 KV 캐시 압축은 근본적으로 시스템 공동 설계(co-design) 문제다. 지연에 민감한 소배치든 처리량 중심의 대규모 동시 요청이든, 어느 쪽에서도 처리량을 깎지 않으면서 거의 무손실의 정확도를 낸다 — 이것이 저자들이 내세우는 그림입니다.

마치며 — 무엇이 흥미롭고 무엇이 불확실한가

무엇이 흥미로운가. 첫째, 가장 단순한 조합이 이겼다는 서사입니다. 더 정교한 벡터·헤시안 기법이 현실 제약 앞에서 우위를 잃었다는 관찰은, "벤치마크 SOTA"와 "서빙 가능"이 다른 축이라는 점을 분명히 합니다. 둘째, 회전이라는 도구가 가중치(QuaRot)에서 KV 캐시로 옮겨 오는 흐름을 확인시켜 줍니다.

무엇이 불확실한가. 이 글의 모든 정량 표현 — "거의 무손실", "오버헤드 0", "순수 INT4와 동일" — 은 저자들의 프리프린트 보고이며, 초록에는 구체적 숫자(어느 모델, 어느 벤치마크에서 몇 점)가 없습니다. 동료평가도 아직입니다. 재현 코드·커널이 공개되어 커뮤니티가 여러 하드웨어에서 다시 재기 전까지는 신중하게 읽는 게 맞습니다. 지난 글의 교훈이 여기서도 그대로입니다 — "비트가 적으면 좋다"는 말은 반드시 자기 과제·자기 하드웨어에서 검증하라. 그럼에도 방향성은 분명합니다. 가중치를 다 짜낸 다음의 병목은 KV 캐시이고, 그 4비트화의 관건은 정확도와 처리량을 동시에 지키는 시스템 설계라는 것 — 그 점을 SAW-INT4는 또렷하게 겨냥합니다.

참고 자료

• Jia et al. (2026), "SAW-INT4: System-Aware 4-Bit KV-Cache Quantization for Real-World LLM Serving"
• 최신 LLM 양자화 기술 총정리 — 같은 "비트 vs 메모리" 싸움의 전편
• Kwon et al. (2023), "Efficient Memory Management for LLM Serving with PagedAttention" (vLLM)
• Ashkboos et al. (2024), "QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs"
• vLLM 양자화 문서