LLM 롱 컨텍스트 성능과 KV Cache 최적화 완전 가이드: MQA에서 Ring Attention까지

• 서론
• KV Cache란 무엇인가
  • Transformer의 자기회귀 생성과 KV Cache
  • KV Cache 없이는 무슨 일이 벌어지는가
• KV Cache 메모리 소비 분석
  • 메모리 계산 공식
  • 모델별 KV Cache 메모리 예시
  • KV Cache vs 모델 가중치 메모리 비교
• KV Cache 최적화 기법
  • Multi-Query Attention (MQA)
  • Grouped-Query Attention (GQA)
  • PagedAttention
  • KV Cache 양자화 (Quantization)
  • 슬라이딩 윈도우 어텐션 (Sliding Window Attention)
  • Ring Attention과 시퀀스 병렬화
• 모델별 컨텍스트 윈도우 비교
  • 주요 LLM 컨텍스트 윈도우 크기 (2026년 3월 기준)
  • 컨텍스트 윈도우 확장 타임라인
• 롱 컨텍스트 성능 벤치마크
  • Needle-in-a-Haystack (NIAH) 테스트
  • 길이별 성능 저하 패턴
  • 실무에서의 롱 컨텍스트 활용 패턴
• 비용-성능 트레이드오프
  • 롱 컨텍스트의 비용 영향
  • 최적화 기법 조합 시 메모리 절감
• 최신 연구 동향
  • Multi-head Latent Attention (MLA)
  • StreamingLLM
  • Infini-Attention
• 실무 적용 가이드
  • 상황별 추천 최적화 전략
  • KV Cache 모니터링 체크리스트
• FAQ
• KV Cache가 없으면 LLM은 작동하지 않나요?
• GQA와 MQA 중 어느 것을 선택해야 하나요?
• 128K 컨텍스트를 사용하면 항상 더 좋은 결과를 얻나요?
• PagedAttention은 추론 품질에 영향을 주나요?
• 슬라이딩 윈도우 어텐션 사용 시 먼 과거의 정보를 참조할 수 있나요?
• KV Cache 양자화와 모델 가중치 양자화는 같은 건가요?
• 참고 자료
• 마무리

서론

2024년 이후 LLM의 컨텍스트 윈도우는 폭발적으로 확장되었습니다. GPT-4 Turbo의 128K, Claude 3의 200K, Gemini 1.5 Pro의 1M+ 토큰에 이르기까지, 긴 문맥을 처리하는 능력은 모델의 핵심 경쟁력이 되었습니다. 하지만 컨텍스트 윈도우를 늘리는 것은 단순히 숫자를 키우는 문제가 아닙니다. 그 이면에는 **KV Cache(Key-Value Cache)**라는 메모리 병목이 존재하며, 이를 효율적으로 관리하는 것이 실무 배포의 핵심 과제입니다.

이 글에서는 KV Cache의 기본 원리부터 메모리 소비량 계산 공식, 그리고 Multi-Query Attention(MQA), Grouped-Query Attention(GQA), PagedAttention, 슬라이딩 윈도우 어텐션, Ring Attention 등 최신 최적화 기법들을 포괄적으로 다룹니다. 나아가 Needle-in-a-Haystack 테스트를 통한 롱 컨텍스트 성능 평가와 실무에서의 비용-성능 트레이드오프까지 살펴봅니다.

KV Cache란 무엇인가

Transformer의 자기회귀 생성과 KV Cache

Transformer 기반 LLM은 토큰을 하나씩 순차적으로 생성합니다(자기회귀 방식). 새로운 토큰을 생성할 때마다 이전 모든 토큰에 대한 어텐션 계산이 필요한데, 매번 처음부터 다시 계산하면 시간 복잡도가 O(n^2)으로 급증합니다.

KV Cache는 이 문제를 해결합니다. 이전 토큰들의 Key와 Value 텐서를 캐시에 저장해두고, 새 토큰 생성 시 이전 Key/Value를 재계산하지 않고 캐시에서 가져와 현재 토큰의 Query와만 어텐션을 계산합니다.

# 자기회귀 생성에서의 KV Cache 동작 원리
Step 1: "The"     → K1, V1 생성 및 캐시 저장
Step 2: "cat"     → K2, V2 생성 + 캐시(K1,V1)와 어텐션 계산
Step 3: "sat"     → K3, V3 생성 + 캐시(K1,V1,K2,V2)와 어텐션 계산
Step 4: "on"      → K4, V4 생성 + 캐시(K1..V3)와 어텐션 계산
...
Step N: "mat"     → KN, VN 생성 + 캐시(K1..V(N-1))와 어텐션 계산

KV Cache 없이는 무슨 일이 벌어지는가

KV Cache가 없다면 각 토큰 생성 시마다 전체 시퀀스에 대해 Key, Value를 다시 계산해야 합니다. 1000 토큰 시퀀스에서:

• KV Cache 사용: 마지막 토큰만 계산 → O(n) 어텐션
• KV Cache 미사용: 매 스텝마다 전체 재계산 → O(n^2) 총 계산량

결과적으로 KV Cache는 추론 속도를 수십 배 향상시키지만, 그 대가로 GPU 메모리를 대량 소비합니다.

KV Cache 메모리 소비 분석

메모리 계산 공식

KV Cache의 메모리 사용량은 다음 공식으로 정확히 계산할 수 있습니다:

KV Cache 메모리 = 2 × n_layers × d_model × seq_len × batch_size × sizeof(dtype)

각 변수의 의미:

모델별 KV Cache 메모리 예시

LLaMA-2 7B (32 layers, d_model=4096, FP16 기준)로 계산해 보겠습니다:

seq_len=4096, batch=1:
2 × 32 × 4096 × 4096 × 1 × 2 bytes = 2 GB

seq_len=128K, batch=1:
2 × 32 × 4096 × 131072 × 1 × 2 bytes = 64 GB ← GPU 1장으로 불가능!

seq_len=128K, batch=8:
2 × 32 × 4096 × 131072 × 8 × 2 bytes = 512 GB ← 대규모 클러스터 필요

LLaMA-2 70B (80 layers, d_model=8192, FP16 기준):

seq_len=4096, batch=1:
2 × 80 × 8192 × 4096 × 1 × 2 bytes = 40 GB

seq_len=128K, batch=1:
2 × 80 × 8192 × 131072 × 1 × 2 bytes = 1.28 TB ← 모델 가중치와 별도!

이처럼 롱 컨텍스트에서 KV Cache는 모델 가중치보다 훨씬 큰 메모리를 차지할 수 있으며, 이것이 최적화가 필수적인 이유입니다.

KV Cache vs 모델 가중치 메모리 비교

KV Cache 최적화 기법

Multi-Query Attention (MQA)

핵심 아이디어: 모든 어텐션 헤드가 동일한 Key와 Value를 공유하고, Query만 헤드별로 다르게 유지합니다.

# Standard Multi-Head Attention (MHA)
# 각 헤드마다 Q, K, V가 별도로 존재
# n_heads = 32일 때, KV Cache에 32세트의 K,V 저장

# Multi-Query Attention (MQA)
# Q는 32개 헤드, K와 V는 1세트만 존재
# KV Cache 크기가 1/32로 감소!

메모리 절감 효과:

장점: KV Cache 메모리를 극적으로 줄임, 디코딩 속도 향상 단점: 품질 저하 가능성 (특히 복잡한 추론 태스크에서)

적용 모델: PaLM, StarCoder, Falcon

참고 논문: Shazeer (2019), "Fast Transformer Decoding: One Write-Head is All You Need"

Grouped-Query Attention (GQA)

핵심 아이디어: MQA와 MHA의 중간 지점. Query 헤드를 그룹으로 나누고, 각 그룹이 하나의 Key-Value 헤드를 공유합니다.

# Grouped-Query Attention (GQA)
# n_heads = 32, n_kv_heads = 8 (4개 Q 헤드가 1개 KV 헤드를 공유)
# KV Cache 크기가 1/4로 감소

# GQA-8: 8개 KV 그룹 → MHA 대비 1/4 크기
# GQA-4: 4개 KV 그룹 → MHA 대비 1/8 크기
# GQA-1: 1개 KV 그룹 → MQA와 동일

메모리 절감과 품질 트레이드오프:

적용 모델: LLaMA 2 70B (GQA-8), LLaMA 3, Mistral, Gemma

참고 논문: Ainslie et al. (2023), "GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints"

PagedAttention

핵심 아이디어: 운영체제의 가상 메모리 페이징 개념을 KV Cache 관리에 적용합니다. KV Cache를 연속적인 메모리가 아닌 고정 크기 블록(페이지)으로 나누어 관리합니다.

기존 방식:
[Request 1 KV Cache (연속 할당, 최대 길이 예약)]
[         빈 공간 (낭비)                        ]
[Request 2 KV Cache (연속 할당, 최대 길이 예약)]
[         빈 공간 (낭비)                        ]

PagedAttention:
[Page 1: Req1] [Page 2: Req2] [Page 3: Req1] [Page 4: Req2]
[Page 5: Req1] [Page 6: Req3] [Page 7: Req2] [Page 8: Req3]
→ 블록 단위로 필요한 만큼만 할당, 내부 단편화 최소화

주요 이점:

• 메모리 낭비 감소: 기존 방식 대비 60~80% 메모리 효율 향상
• 더 높은 배치 크기: 동일 GPU 메모리에서 2~4배 더 많은 요청 동시 처리
• Copy-on-Write: 프롬프트가 동일한 요청 간 KV Cache 공유 가능

적용: vLLM, SGLang, TensorRT-LLM

참고 논문: Kwon et al. (2023), "Efficient Memory Management for Large Language Model Serving with PagedAttention"

KV Cache 양자화 (Quantization)

KV Cache를 FP16에서 INT8 또는 INT4로 양자화하면 메모리를 즉시 50~75% 절감할 수 있습니다.

# KV Cache 양자화 예시 (개념적 코드)
# FP16 KV Cache: 각 값 2바이트
# INT8 KV Cache: 각 값 1바이트 (50% 절감)
# INT4 KV Cache: 각 값 0.5바이트 (75% 절감)

# 양자화 적용 시 LLaMA-7B 128K 컨텍스트:
# FP16: 64 GB → INT8: 32 GB → INT4: 16 GB

주요 기법:

참고: Key 텐서는 Value보다 양자화에 민감한 경향이 있어, Key는 INT8, Value는 INT4로 비대칭 양자화하는 KIVI 같은 접근이 효과적입니다.

슬라이딩 윈도우 어텐션 (Sliding Window Attention)

핵심 아이디어: 전체 시퀀스가 아닌 고정 크기 윈도우 내의 토큰들에만 어텐션을 계산합니다.

전체 어텐션 (Full Attention):
Token 100이 Token 1~99 모두에 어텐션 → KV Cache 100개 유지

슬라이딩 윈도우 (window_size=32):
Token 100이 Token 69~99에만 어텐션 → KV Cache 32개만 유지
→ 메모리 O(n) → O(window_size)로 감소!

장점: KV Cache 크기가 시퀀스 길이에 무관하게 고정 단점: 윈도우 밖의 먼 토큰 정보에 직접 접근 불가 (레이어 스태킹으로 간접 전달)

적용 모델: Mistral 7B (window_size=4096), Longformer (로컬 + 글로벌 혼합)

Ring Attention과 시퀀스 병렬화

핵심 아이디어: 시퀀스를 여러 디바이스에 분할하고, Key-Value 블록을 링 형태로 순환시키면서 어텐션을 계산합니다.

Device 0: [Seq chunk 0] ←→ KV blocks rotate
Device 1: [Seq chunk 1] ←→ KV blocks rotate
Device 2: [Seq chunk 2] ←→ KV blocks rotate
Device 3: [Seq chunk 3] ←→ KV blocks rotate

→ 각 디바이스는 자신의 시퀀스 청크에 대해 어텐션 계산
→ KV 블록이 링 형태로 순환하며 전체 시퀀스 어텐션 완성
→ 디바이스 수에 비례하여 컨텍스트 길이 확장 가능

주요 이점:

• 단일 GPU 메모리 한계를 초월하는 초장문 컨텍스트 처리
• N개 디바이스로 N배 길이의 시퀀스 처리 가능
• 통신 비용을 계산으로 오버랩하여 효율 극대화

적용 사례: Google의 내부 모델 학습, 학술 연구 단계

참고 논문: Liu et al. (2023), "Ring Attention with Blockwise Transformers for Near-Infinite Context"

모델별 컨텍스트 윈도우 비교

주요 LLM 컨텍스트 윈도우 크기 (2026년 3월 기준)

컨텍스트 윈도우 확장 타임라인

2020: GPT-3          2K tokens
2022: GPT-3.5        4K tokens
2023.03: GPT-4       8K / 32K tokens
2023.07: Claude 2    100K tokens
2023.11: GPT-4 Turbo 128K tokens
2024.02: Gemini 1.5  1M tokens
2024.03: Claude 3    200K tokens
2024.07: LLaMA 3.1   128K tokens
2024.12: Gemini 2.0  1M+ tokens
2025+: 다양한 모델   128K~2M+ tokens

롱 컨텍스트 성능 벤치마크

Needle-in-a-Haystack (NIAH) 테스트

Needle-in-a-Haystack는 긴 문맥 속에 숨겨진 특정 정보를 모델이 얼마나 정확하게 찾아내는지 평가하는 벤치마크입니다.

테스트 방법:

1. 긴 텍스트(Haystack)를 준비합니다 (예: 128K 토큰의 에세이)
2. 특정 팩트(Needle)를 텍스트 중간에 삽입합니다
3. 모델에게 해당 팩트에 대한 질문을 합니다
4. 삽입 위치(처음/중간/끝)와 전체 길이를 변화시키며 정확도를 측정합니다

주요 발견 사항:

길이별 성능 저하 패턴

정확도(%)
100 |████████████████████░░░░░░░░░░░░░░
 90 |████████████████████████████░░░░░░░
 80 |████████████████████████████████░░░
 70 |████████████████████████████████░░░
 60 |████████████████████████████████████
    +---+----+-----+------+------+-----+
    4K  16K   32K   64K   128K   256K
                컨텍스트 길이

    — 최고 성능 모델 (Claude 3, Gemini 1.5 Pro)
    --- 중간 성능 모델
    ··· 긴 컨텍스트 미지원 모델

실무에서의 롱 컨텍스트 활용 패턴

비용-성능 트레이드오프

롱 컨텍스트의 비용 영향

컨텍스트 길이 증가에 따른 비용 증가는 선형이 아닌 초선형(super-linear)입니다:

최적화 기법 조합 시 메모리 절감

기준: LLaMA-70B, 128K 컨텍스트, batch=1, FP16
기본 KV Cache:     1,280 GB

+ GQA-8 적용:       320 GB (75% 절감)
+ INT8 양자화:      160 GB (87.5% 절감)
+ PagedAttention:   ~128 GB (90% 절감, 실사용 기준)
+ INT4 양자화:       80 GB (93.75% 절감)
+ 슬라이딩 윈도우:    제한적 (태스크 의존)

최신 연구 동향

Multi-head Latent Attention (MLA)

DeepSeek-V2에서 도입된 MLA는 KV Cache를 저차원 잠재 공간으로 압축하는 기법입니다. Key와 Value를 결합된 잠재 벡터로 압축 저장하고, 추론 시 다시 복원합니다.

기존 GQA: K, V를 그룹화하여 저장
MLA: K+V를 결합된 저차원 잠재 벡터로 압축
→ GQA 대비 추가 50~70% 메모리 절감 가능

StreamingLLM

KV Cache를 완전히 버리지 않으면서 무한 스트리밍을 가능하게 합니다. "Attention Sink" 현상을 이용하여 첫 몇 개 토큰의 KV Cache + 최근 윈도우만 유지합니다.

# StreamingLLM의 KV Cache 관리 (개념적)
# 전체 시퀀스: [t1, t2, t3, ..., t100, ..., t10000]
# 실제 유지: [t1, t2, t3, t4] + [t9997, t9998, t9999, t10000]
#            ↑ Attention Sink    ↑ 슬라이딩 윈도우

Infini-Attention

Google Research에서 제안한 방식으로, 컴프레시브 메모리와 로컬 어텐션을 결합합니다. 과거 정보를 압축된 메모리에 누적 저장하면서 로컬 어텐션으로 최근 컨텍스트를 처리합니다.

실무 적용 가이드

상황별 추천 최적화 전략

단일 GPU, 짧은 컨텍스트 (4~8K):

• GQA 적용 모델 사용
• FP16 KV Cache로 충분
• vLLM + PagedAttention 기본 설정

단일 GPU, 중간 컨텍스트 (32~64K):

• GQA + KV Cache INT8 양자화
• PagedAttention으로 메모리 효율화
• gpu-memory-utilization=0.9 설정

멀티 GPU, 긴 컨텍스트 (128K+):

• GQA + KV Cache INT4/INT8 양자화
• 텐서 병렬화 + PagedAttention
• Ring Attention (연구/실험 단계)

초장문 컨텍스트 (1M+):

• Gemini API 등 매니지드 서비스 활용
• RAG + 롱 컨텍스트 하이브리드 접근
• 비용 대비 효과 면밀히 검토

KV Cache 모니터링 체크리스트

# GPU 메모리 사용량 실시간 모니터링
watch -n 1 nvidia-smi

# vLLM에서 KV Cache 사용률 확인
# vLLM 서버의 /metrics 엔드포인트에서 확인
curl http://localhost:8000/metrics | grep kv_cache

# 주요 모니터링 지표
# - gpu_cache_usage_perc: KV Cache GPU 메모리 사용률
# - num_running_requests: 동시 처리 중인 요청 수
# - prompt_tokens_total: 처리된 프롬프트 토큰 수

FAQ

KV Cache가 없으면 LLM은 작동하지 않나요?

작동은 합니다만, 실용적이지 않습니다. KV Cache 없이는 매 토큰 생성마다 전체 시퀀스를 재계산해야 하므로, 1000 토큰 생성에 KV Cache 사용 시 대비 수십~수백 배 느려집니다. 연구용 소규모 모델이 아닌 이상, 프로덕션 환경에서는 항상 KV Cache를 사용합니다.

GQA와 MQA 중 어느 것을 선택해야 하나요?

2024년 이후 출시된 대부분의 주요 모델은 GQA를 채택하고 있습니다. GQA는 MQA의 극단적인 메모리 절감과 MHA의 품질 사이에서 좋은 균형을 제공합니다. 실무적으로는 이미 GQA가 적용된 모델(LLaMA 3, Mistral 등)을 사용하면 됩니다.

128K 컨텍스트를 사용하면 항상 더 좋은 결과를 얻나요?

아닙니다. Needle-in-a-Haystack 테스트에서 보듯이, 컨텍스트가 길어지면 "Lost in the Middle" 현상으로 중간 부분의 정보 검색 성능이 저하될 수 있습니다. 또한 비용이 선형적으로 증가하고, Prefill 지연시간도 크게 늘어납니다. 필요한 만큼만 컨텍스트를 사용하는 것이 효율적입니다.

PagedAttention은 추론 품질에 영향을 주나요?

아닙니다. PagedAttention은 메모리 관리 방식만 변경하는 것이지, 어텐션 계산 자체를 변경하는 것이 아닙니다. 수학적으로 동일한 결과를 산출하면서 메모리 효율만 개선합니다.

슬라이딩 윈도우 어텐션 사용 시 먼 과거의 정보를 참조할 수 있나요?

직접적으로는 참조할 수 없지만, 레이어 수가 충분하면 간접적으로 전달됩니다. 예를 들어 윈도우 크기가 4096이고 32개 레이어가 있으면, 이론상 4096 x 32 = 131,072 토큰 범위의 정보가 간접 전달됩니다. 다만 실제로는 정보가 레이어를 지날 때마다 희석되므로, 먼 과거 정보에 대한 정확한 검색에는 한계가 있습니다.

KV Cache 양자화와 모델 가중치 양자화는 같은 건가요?

다릅니다. 모델 가중치 양자화(GPTQ, AWQ, GGUF 등)는 학습된 파라미터를 압축하는 것이고, KV Cache 양자화는 추론 시 동적으로 생성되는 캐시 데이터를 압축하는 것입니다. 두 가지를 동시에 적용할 수 있으며, 이 경우 메모리 절감 효과가 누적됩니다.

참고 자료

• Shazeer, N. (2019). "Fast Transformer Decoding: One Write-Head is All You Need." arXiv:1911.02150
• Ainslie, J. et al. (2023). "GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints." arXiv:2305.13245
• Kwon, W. et al. (2023). "Efficient Memory Management for Large Language Model Serving with PagedAttention." arXiv:2309.06180
• Liu, H. et al. (2023). "Ring Attention with Blockwise Transformers for Near-Infinite Context." arXiv:2310.01889
• Xiao, G. et al. (2023). "Efficient Streaming Language Models with Attention Sinks." arXiv:2309.17453
• Liu, Z. et al. (2024). "KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache." arXiv:2402.02750
• DeepSeek-AI (2024). "DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model." arXiv:2405.04434
• Munkhdalai, T. et al. (2024). "Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention." arXiv:2404.07143
• Nelson, G. et al. (2024). "Needle In A Haystack - Pressure Testing LLMs." GitHub Repository
• vLLM Project. "vLLM: Easy, Fast, and Cheap LLM Serving." GitHub Repository

마무리

KV Cache 최적화는 LLM의 롱 컨텍스트 능력을 실무에서 활용하기 위한 핵심 기술입니다. 단일 기법만으로는 한계가 있으며, GQA + PagedAttention + KV Cache 양자화를 조합하는 것이 현재 가장 실용적인 접근입니다.

핵심 요약:

1. KV Cache는 추론 속도의 핵심이지만, 롱 컨텍스트에서 메모리 병목의 주범입니다.
2. GQA가 현재 업계 표준입니다. MHA의 품질과 MQA의 효율성 사이에서 최적 균형을 제공합니다.
3. PagedAttention은 필수입니다. vLLM, SGLang 등을 통해 즉시 적용 가능합니다.
4. KV Cache 양자화는 추가적인 메모리 절감을 위한 효과적인 수단입니다.
5. 롱 컨텍스트가 항상 정답은 아닙니다. 비용, 지연시간, 정확도를 종합적으로 고려해야 합니다.
6. RAG와 롱 컨텍스트의 하이브리드 접근이 대부분의 실무 시나리오에서 최적의 선택입니다.

앞으로 MLA, Infini-Attention 등 새로운 접근들이 실용화되면서 롱 컨텍스트의 비용-성능 트레이드오프는 계속 개선될 것입니다. 지속적인 기술 동향 파악과 벤치마킹이 중요합니다.