Language Learning Quiz
Based on: vLLM 내부 구조 (3) — 연속 배칭이 GPU를 놀게 두지 않는 방법
vLLM 내부 구조 (3) — 연속 배칭이 GPU를 놀게 두지 않는 방법
1 / 10
이 표현을 알고 있나요?
Iteration-level scheduling
이터레이션 단위 스케줄링
요청 단위가 아니라 모델을 한 번 돌리는 단위마다 배치 구성을 다시 정하는 방식입니다. 끝난 요청은 즉시 빠지고 대기 중인 요청이 바로 들어옵니다.
탭하여 뒤집기