Language Learning Quiz
Based on: vLLM 내부 구조 (7) — 배포 튜닝과 흔한 함정, OOM 진단 순서
vLLM 내부 구조 (7) — 배포 튜닝과 흔한 함정, OOM 진단 순서
1 / 10
이 표현을 알고 있나요?
Pipeline parallelism
파이프라인 병렬
모델의 층들을 구간으로 나눠 서로 다른 장비에 배치하는 방식입니다. 한 노드에도 안 들어가는 모델에 씁니다.
탭하여 뒤집기
Based on: vLLM 내부 구조 (7) — 배포 튜닝과 흔한 함정, OOM 진단 순서
모델의 층들을 구간으로 나눠 서로 다른 장비에 배치하는 방식입니다. 한 노드에도 안 들어가는 모델에 씁니다.
탭하여 뒤집기