Latency

All Posts

Published on
2026년 8월 14일
Cerebras Ultrafast와 에이전트 루프의 병목 — 초당 750토큰이 줄이지 못하는 시간
llm inference hardware latency performance hacker-news
Cerebras와 OpenAI가 초당 최대 750토큰을 내는 추론 티어를 공개했습니다. 발표문이 밝히는 원리는 연산량이 아니라 데이터 이동이고, 가중치를 웨이퍼 위 SRAM에 올려 두는 방식입니다. 왜 배치 1의 디코딩이 메모리 대역폭에 묶이는지, 발표된 배속 수치가 무엇을 재고 무엇을 재지 않는지, 그리고 토큰 생성이 빨라져도 줄지 않는 시간이 여러분의 에이전트 루프에서 몇 퍼센트인지 계산하는 방법을 정리합니다.
Published on
2026년 7월 31일
평균은 아무것도 말하지 않는다 — 지연 시간을 분포로 디버깅하는 법
observability latency performance histogram percentile
2026년 7월 27일 공개돼 해커뉴스 상단에 오른 Farid Zakaria의 글 "The mean means nothing"은 캐싱 계층을 배포한 뒤 평균 지연이 112ms에서 122ms로 9% 나빠진 상황을 다룹니다. 같은 데이터에서 p50은 99ms에서 54ms로 46% 개선됐고, p99는 309ms에서 678ms로 119% 악화됐습니다. 하나의 데이터가 정반대 결론 두 개를 동시에 지지하는 이유는 분포가 단봉에서 이봉으로 갈라졌기 때문입니다. 밀도 그래프, CDF, 시프트 함수, 리지라인, 히트맵이 각각 무엇을 드러내는지, 부하 생성기의 coordinated omission이 왜 꼬리를 통째로 지우는지, 그리고 Prometheus 네이티브 히스토그램과 HdrHistogram으로 이것을 실제 운영에서 어떻게 그리는지 정리합니다.
Published on
2026년 6월 26일
추론을 빠르게 — Speculative Decoding과 처리량 최적화
speculative-decoding throughput inference mlops latency batching llm-serving
LLM의 decode가 느린 근본 이유부터 speculative decoding으로 속도를 끌어올리는 원리, 메두사와 EAGLE 같은 변형, chunked prefill과 prefill/decode 분리, 지연과 처리량의 트레이드오프, 그리고 TTFT/TPOT 같은 측정 지표까지 추론 가속의 핵심을 정리합니다.
Published on
2026년 4월 12일
프롬프트 캐싱 실전 가이드: 에이전트 앱의 비용과 지연 시간을 함께 줄이는 방법
prompt-caching latency cost-optimization ai-agent llmops 2026-04
에이전트 애플리케이션에서 프롬프트 캐싱이 왜 중요한지, OpenAI와 Anthropic의 차이, 프롬프트 구조화 패턴, ROI 판단법, 흔한 실수, 마이그레이션 체크리스트까지 실무 관점에서 정리합니다.
Published on
2026년 3월 2일
Speculative Decoding으로 LLM 추론 2~3배 빠르게: 원리부터 실전 구현까지
llm speculative-decoding inference optimization vllm draft-model token-verification latency throughput model-serving
Speculative Decoding의 수학적 원리, Draft-Verify 파이프라인, 수용 확률 분석, vLLM/TensorRT-LLM에서의 실전 적용법, 그리고 Apple의 Mirror Speculative Decoding까지 심층 분석한다.

Latency

latency (5)

Cerebras Ultrafast와 에이전트 루프의 병목 — 초당 750토큰이 줄이지 못하는 시간

평균은 아무것도 말하지 않는다 — 지연 시간을 분포로 디버깅하는 법

추론을 빠르게 — Speculative Decoding과 처리량 최적화

프롬프트 캐싱 실전 가이드: 에이전트 앱의 비용과 지연 시간을 함께 줄이는 방법

Speculative Decoding으로 LLM 추론 2~3배 빠르게: 원리부터 실전 구현까지