Language Learning Quiz
Based on: vLLM 메트릭 — 무엇을 대시보드에 올리고 무엇으로 알람을 걸까
vLLM 메트릭 — 무엇을 대시보드에 올리고 무엇으로 알람을 걸까
1 / 10
이 표현을 알고 있나요?
Inter-token latency
토큰 간 지연
첫 토큰 이후 다음 토큰이 나오기까지의 간격입니다. 이 값이 튀면 사용자에게는 글자가 뚝뚝 끊기는 느낌으로 나타납니다.
탭하여 뒤집기
Based on: vLLM 메트릭 — 무엇을 대시보드에 올리고 무엇으로 알람을 걸까
첫 토큰 이후 다음 토큰이 나오기까지의 간격입니다. 이 값이 튀면 사용자에게는 글자가 뚝뚝 끊기는 느낌으로 나타납니다.
탭하여 뒤집기