LLM GPU 메모리(VRAM) 계산기

모델의 모든 파라미터를 선택한 정밀도로 저장하는 비용입니다. 파라미터 수 × 가중치당 비트 ÷ 8이 바이트가 됩니다. 파라미터 수는 각 모델의 safetensors 메타데이터에서 읽은 정확한 값이고, FP16은 16비트, GGUF Q4_0은 32개 가중치 블록당 18바이트(= 4.5비트/가중치)처럼 양자화 포맷의 블록 구조에서 비트 수가 나옵니다.

생성 중 각 레이어는 토큰마다 키와 값 벡터를 저장합니다. 토큰 하나의 비용은 레이어 × KV헤드 × 헤드차원 × 2(K와 V) × 원소 크기이고, 여기에 컨텍스트 길이와 배치를 곱합니다. GQA 모델은 KV헤드 수가 어텐션 헤드보다 적어서 그만큼 캐시가 작아집니다(예: Qwen2.5-7B는 28헤드 중 KV헤드 4개 → MHA 대비 1/7). KV 양자화(INT8/Q4)는 원소 크기를 2바이트에서 1/0.5바이트로 줄이는 것으로 근사했습니다.

가중치와 KV 캐시 외에도 CUDA 컨텍스트, 프레임워크 버퍼, 커널 워크스페이스, 디코딩 활성값이 메모리를 씁니다. 이 몫은 런타임 구현에 따라 달라 공식이 없습니다. 그래서 숨은 계수로 곱하는 대신, 눈에 보이는 슬라이더(기본 2 GiB)로 두고 직접 조정하게 했습니다.

풀 파인튜닝(혼합정밀 + AdamW)은 파라미터당 BF16 가중치 2바이트, FP32 그래디언트 4바이트, AdamW 모멘트 두 개 각 4바이트로 14바이트를 잡습니다. 구현에 따라 FP32 마스터 사본을 더 두면 +4바이트입니다. LoRA는 베이스를 동결한 채 각 타깃 선형층(입력→출력)에 r×(입력+출력) 파라미터를 더하고, 학습 상태(그래디언트+옵티마이저)는 어댑터에만 듭니다. QLoRA는 같은 구조에서 베이스를 4비트급으로 양자화한 경우입니다. 둘 다 거친 추정이며 활성값은 별도 슬라이더입니다.

메모리는 GiB(1024³바이트)로 계산·표시합니다. GPU 메모리 칩은 이진 용량이라 표기 24GB를 24GiB로 취급했습니다. 판정은 드라이버 예약·단편화를 감안한 10% 여유를 명시적 가정으로 둡니다: 필요량이 용량의 90% 이하면 "여유", 100% 이하면 "빠듯", 넘으면 "부족". 실제 한계는 런타임과 드라이버에 따라 다릅니다.