Language Learning Quiz
Based on: KV Cache 최적화 심층 분석: GQA·MLA·MHA 어텐션 메커니즘과 메모리 효율화 전략
Do you know this expression?
KV Cache
KV 캐시
Transformer 디코딩 시 이전 토큰의 Key-Value 벡터를 저장하여 중복 연산을 방지하는 메모리 버퍼
Tap to flip
Based on: KV Cache 최적화 심층 분석: GQA·MLA·MHA 어텐션 메커니즘과 메모리 효율화 전략
Transformer 디코딩 시 이전 토큰의 Key-Value 벡터를 저장하여 중복 연산을 방지하는 메모리 버퍼
Tap to flip