Skip to content

Vram

  • Published on
    "이 모델이 우리 GPU에 올라갑니까"라는 질문에 곱셈 몇 번으로 답하는 방법을 정리했습니다. 가중치 메모리는 파라미터 수 곱하기 바이트로 끝나지만, 실제로 배포를 막는 것은 시퀀스 길이와 배치에 비례해서 자라는 KV 캐시입니다. KV 캐시 공식과 GQA가 이를 몇 분의 일로 줄이는 원리, 프리필 활성화와 프레임워크 오버헤드의 크기, PagedAttention이 없앤 단편화 손실, 그리고 4비트 양자화가 공짜가 아닌 이유를 숫자로 다룹니다. 가진 VRAM에서 동시 처리 가능한 시퀀스 수를 역산하는 계산기 함수도 함께 싣습니다.