Inference

All Posts

Published on
2026년 7월 11일
KV 캐시를 4비트로 — SAW-INT4와 시스템을 아는 INT4 양자화
ai llm quantization inference kv-cache
긴 컨텍스트 LLM 서빙에서 진짜 메모리 병목은 가중치가 아니라 KV 캐시입니다. 이를 INT4로 그냥 줄이면 정확도가 무너지는데, 2026년 4월 프리프린트 SAW-INT4는 토큰 단위 INT4 양자화에 블록 대각 아다마르 회전을 더해 순진한 INT4가 잃은 정확도를 거의 되찾는다고 보고합니다. 이 논문의 진짜 각도는 정확도만이 아니라 처리량입니다 — 페이지드 KV 캐시 레이아웃에 바로 통합되는 융합 회전·양자화 커널로, 저자들은 측정 가능한 종단 오버헤드가 없고 순수 INT4와 같은 처리량을 낸다고 말합니다. 벡터 양자화나 헤시안 기반 같은 더 복잡한 기법이 서빙 호환성을 따지면 추가 이득이 미미했다는 관찰도 흥미롭습니다. 아직 동료평가 전 프리프린트이고 초록에 구체적 수치가 없다는 점을 감안해 읽어야 합니다.
Published on
2026년 7월 11일
KV 缓存降到 4 比特 — SAW-INT4 与系统感知的 INT4 量化
ai llm quantization inference kv-cache
在长上下文 LLM 服务中，真正的内存瓶颈不是权重，而是 KV 缓存。直接把它降到 INT4 会让精度崩溃，但 2026 年 4 月的预印本 SAW-INT4 报告说，在逐 token 的 INT4 量化之上再叠加块对角阿达玛旋转，就能几乎追回朴素 INT4 丢掉的精度。这篇论文真正的角度不只是精度，而是吞吐量 — 通过直接集成进分页 KV 缓存布局的融合旋转·量化内核，作者们称没有可测量的端到端开销，吞吐量与纯 INT4 相同。向量量化或基于 Hessian 之类更复杂的方法，一旦把服务兼容性算进来，额外收益就微乎其微 — 这个观察也很有意思。它还只是一篇未经同行评审的预印本，且摘要里没有具体数字，读的时候要把这一点考虑进去。
Published on
2026년 7월 11일
Mac mini가 온디바이스 AI 머신이 된 이유 — 애플 실리콘 임원 인터뷰가 말하는 것, 말하지 않는 것
apple-silicon on-device-ai local-llm mac-mini inference
애플 실리콘 수석 프로덕트 매니저 더그 브룩스가 The Deep View 인터뷰에서 Mac mini와 Mac Studio에 대한 수요와 온디바이스 AI의 방향을 이야기했습니다. 개발자들이 왜 이 작은 데스크톱을 로컬 LLM·에이전트 머신으로 고르는지, 통합 메모리 구조의 진짜 이점은 무엇인지, 그리고 CUDA 생태계 격차와 최근 가격 인상이라는 정직한 트레이드오프까지 — 임원의 발언을 그대로 인용하되 마케팅은 걷어내고 정리합니다.
Published on
2026년 7월 11일
Mac mini 为何成为端侧 AI 机器 — Apple Silicon 高管访谈说了什么、没说什么
apple-silicon on-device-ai local-llm mac-mini inference
Apple Silicon 高级产品经理道格·布鲁克斯（Doug Brooks）在 The Deep View 的访谈中谈到了 Mac mini 与 Mac Studio 的需求以及端侧 AI 的走向。开发者和小型团队为何选择这台小小的台式机作为本地 LLM 与智能体机器、统一内存架构的真正优势是什么，以及 CUDA 生态差距与近期涨价这一诚实的取舍 — 本文原样引用高管的发言，同时剥离营销话术加以梳理。
Published on
2026년 7월 11일
Hybrid SWA로 긴 컨텍스트 추론 최적화하기 — Xiaomi MiMo v2.5가 실제로 한 것
ai llm inference attention optimization
슬라이딩 윈도우 어텐션(SWA)과 풀 어텐션을 층별로 섞는 하이브리드 SWA는 긴 컨텍스트 추론의 KV 캐시 메모리와 연산량을 함께 줄이는 최근의 주류 설계입니다. Xiaomi가 공개한 MiMo v2.5 추론 최적화 글을 근거로, 하이브리드 SWA가 무엇이고 왜 중요한지, MiMo v2.5가 실제로 어떤 아키텍처와 시스템 엔지니어링을 했는지(70층 중 10층만 풀 어텐션, 윈도우 128, 이론상 약 7배 절감), 그리고 정직하게 무엇이 빠졌는지를 정리합니다. 결론은 지난 양자화 글과 같은 전장 — KV 캐시 — 을 다른 축에서 공격하는 이야기입니다.
Published on
2026년 7월 11일
用 Hybrid SWA 优化长上下文推理 — Xiaomi MiMo v2.5 实际做了什么
ai llm inference attention optimization
把滑动窗口注意力（SWA）与全注意力按层混合的混合 SWA，是最近同时削减长上下文推理 KV 缓存内存与计算量的主流设计。本文以 Xiaomi 公开的 MiMo v2.5 推理优化文章为依据，梳理混合 SWA 是什么、为什么重要，MiMo v2.5 实际做了哪些架构与系统工程（70 层中仅 10 层全注意力、窗口 128、理论上约 7 倍削减），以及诚实地看它缺了什么。结论是与上一篇量子化文章相同的战场 — KV 缓存 — 只是从另一个轴切入。
Published on
2026년 7월 11일
더 생각한다고 더 맞는 것은 아니다: 테스트타임 컴퓨트와 과잉사고
ai llm reasoning inference test-time-compute
2026년 4월, Shu Zhou 등 6명은 "When More Thinking Hurts"에서 추론 토큰을 무작정 늘리는 흐름에 정면으로 질문을 던집니다. 저자들의 보고에 따르면 컴퓨트 예산이 커질수록 추가 추론 토큰의 한계 효용은 크게 줄어들고, 어느 지점부터 모델은 "과잉사고"에 빠져 이미 맞혔던 답을 스스로 뒤엎습니다. 최적 사고 길이는 문제 난이도마다 다르므로, 모두에게 같은 예산을 주는 방식은 비효율적이라는 것입니다. 초록은 구체적인 모델명이나 수치를 밝히지 않으므로, 저는 방향성만 조심스럽게 옮깁니다.
Published on
2026년 7월 11일
想得更多不等于答得更对：测试时计算与过度思考
ai llm reasoning inference test-time-compute
2026年4月，Shu Zhou 等6人在 "When More Thinking Hurts" 中，对一味增加推理 token 的潮流正面提出质疑。据作者们报告，计算预算越大，额外推理 token 的边际效用就下降得越多，而从某个点开始，模型会陷入"过度思考"，亲手推翻自己此前已经答对的答案。最优思考长度因问题难度而各不相同，因此给所有问题相同预算的做法并不高效。摘要并未给出具体的模型名称或数值，所以我只谨慎地带回方向性。
Published on
2026년 7월 8일
LLM 캐싱의 원리 — 프롬프트 캐싱과 Prefix Cache는 왜 돈을 아껴주는가
ai llm caching inference performance
프롬프트 앞부분이 같으면 왜 비용이 10분의 1이 될까요? 답은 트랜스포머 내부의 KV 캐시에 있습니다. 어텐션이 인과적(causal)이라 앞쪽 토큰들의 Key/Value 벡터는 뒤에 무엇이 오든 변하지 않고, 그래서 저장해 뒀다가 재사용할 수 있습니다. prefill과 decode의 구분, KV 캐시의 메모리 수치, vLLM·SGLang의 prefix cache 구현, 그리고 Anthropic·OpenAI 프롬프트 캐싱의 가격 구조와 실전 설계 규칙까지 — 겹치는 앞부분이 연산을 지워주는 전체 메커니즘을 바닥부터 설명합니다.
Published on
2026년 7월 8일
최신 LLM 양자화 기술 총정리 — GPTQ·AWQ부터 FP8·MXFP4·KV 캐시 양자화까지
ai llm quantization inference optimization
양자화는 모델의 숫자를 더 적은 비트로 표현해 메모리와 비용을 줄이는 기술입니다. 비트가 줄어도 품질이 버티는 이유(이상치와 스케일링), GPTQ와 AWQ의 접근 차이, llama.cpp GGUF의 k-quant, QLoRA의 NF4, 그리고 2026년의 중심축인 FP8과 마이크로스케일링 FP4(MXFP4·NVFP4), 다음 병목인 KV 캐시 양자화까지 — W4A16 같은 표기법 읽는 법과 하드웨어·목적별 선택 가이드를 포함해 최신 양자화 지형을 한 장에 정리합니다. RTX 5090에서 8B 모델을 fp16·int8·nf4로 직접 돌려 VRAM과 속도를 실측한 결과(int8이 오히려 가장 느린 반전 포함)도 함께 담았습니다.
Published on
2026년 6월 26일
KV 캐시와 PagedAttention — 추론 메모리의 모든 것
kv-cache paged-attention inference gpu-memory quantization transformer vllm
LLM 추론에서 메모리를 가장 많이 먹는 주범인 KV 캐시를 깊이 파헤칩니다. KV 캐시가 무엇이고 왜 메모리를 잡아먹는지, 메모리 산수와 단편화 문제, PagedAttention의 블록 관리, prefix 공유와 KV 양자화까지 개발자 관점에서 정리합니다.
Published on
2026년 6월 26일
LLM 추론 서빙 2026 — vLLM, SGLang, TensorRT-LLM 비교
llm-serving vllm sglang tensorrt-llm inference mlops batching
2026년의 LLM 추론 서빙을 한눈에 정리합니다. prefill과 decode의 성격 차이, continuous batching, paged KV 캐시 같은 핵심 원리부터 vLLM, SGLang, TensorRT-LLM의 강약점 비교와 선택 가이드, 실제 배포 설정까지 개발자 관점에서 다룹니다.
Published on
2026년 6월 26일
멀티모달 LLM 서빙 — 이미지 입력이 만드는 새로운 과제
mlops multimodal llm-serving vllm kv-cache inference
텍스트 전용 LLM 서빙과 무엇이 다른지부터, 비전 인코더 추가 단계, 가변 비주얼 토큰 수, 프리필 비용 급증, 멀티모달 KV 캐시와 배칭의 난점, 지연 분해와 처리량 최적화, 비용과 운영 함정까지 멀티모달 LLM 서빙의 실무를 정리합니다.
Published on
2026년 6월 26일
추론을 빠르게 — Speculative Decoding과 처리량 최적화
speculative-decoding throughput inference mlops latency batching llm-serving
LLM의 decode가 느린 근본 이유부터 speculative decoding으로 속도를 끌어올리는 원리, 메두사와 EAGLE 같은 변형, chunked prefill과 prefill/decode 분리, 지연과 처리량의 트레이드오프, 그리고 TTFT/TPOT 같은 측정 지표까지 추론 가속의 핵심을 정리합니다.
Published on
2026년 6월 18일
온디바이스·엣지 AI — AI가 기기 안으로 들어온다
ai edge-ai on-device npu llm inference trend
클라우드에 머물던 AI 추론이 스마트폰·PC·임베디드 기기 안으로 이동하고 있습니다. 지연·프라이버시·비용이라는 세 가지 동인과 NPU·온디바이스 LLM의 부상, 그리고 투자·산업 관점의 시사점과 리스크를 균형 있게 정리합니다.
Published on
2026년 6월 18일
커스텀 ASIC vs GPU — 칩 전쟁의 투자 관점
asic gpu semiconductor investing nvidia ai-chips inference
클라우드 사업자의 자체 칩(커스텀 ASIC) 부상과 추론 시장의 변화를 투자 관점에서 분석합니다. 엔비디아의 해자와 그에 대한 도전, 밸류체인 수혜 지도, 그리고 핵심 리스크를 균형 있게 정리합니다.
Published on
2026년 6월 16일
2026 AI 가속기 지형 — Blackwell에서 Vera Rubin까지
ai-hardware nvidia-blackwell vera-rubin inference gpu accelerator data-center
2026년 AI 가속기 시장을 한눈에 정리합니다. NVIDIA Blackwell과 차세대 Vera Rubin, AMD MI350X, 추론 capex가 학습을 처음 추월한 변화, 그리고 워크로드별로 어떤 칩을 골라야 하는지 개발자 관점에서 살펴봅니다.
Published on
2026년 6월 16일
Cerebras 웨이퍼스케일 딥다이브 — 칩 하나에 모델 전체를
cerebras wafer-scale ai-hardware memory-wall inference wse-3
웨이퍼 한 장을 통째로 하나의 칩으로 만든 Cerebras WSE-3의 설계를 깊게 파헤칩니다. 메모리 월을 우회하는 온칩 SRAM 중심 구조, 결함 허용 설계, 실시간 추론 성능, 그리고 GPU 클러스터 대비 장단점을 정리합니다.
Published on
2026년 6월 16일
엣지 AI와 NPU — 온디바이스 추론 가속기
edge-ai npu on-device inference quantization mobile accelerators
추론을 클라우드가 아니라 기기에서 직접 돌리는 엣지 AI의 이유(지연·프라이버시·비용)와, 이를 가능케 하는 NPU의 개념을 정리합니다. Apple Neural Engine, Qualcomm, Edge TPU, ARM Ethos부터 모델 경량화, 온디바이스 LLM, 런타임(TFLite/ONNX/CoreML), 클라우드-엣지 하이브리드까지 개발자 시작 가이드를 담았습니다.
Published on
2026년 6월 16일
GPU vs TPU vs ASIC — 2026 추론 전쟁
gpu tpu asic inference ai-hardware compiler cuda
2026년 추론 워크로드를 두고 벌어지는 GPU·TPU·ASIC의 경쟁을 비교합니다. Google TPU v6 Trillium과 Ironwood, 급성장하는 클라우드 자체 추론 ASIC, 처리량·지연·비용·전력 트레이드오프, 그리고 CUDA와 XLA로 갈라지는 컴파일러 스택까지 다룹니다.
Published on
2026년 6월 16일
Groq와 SambaNova — 추론에 올인한 칩들
groq sambanova inference ai-hardware lpu dataflow
학습이 아니라 추론에 모든 것을 건 두 칩, Groq LPU와 SambaNova RDU의 동작 원리를 깊게 들여다봅니다. 결정적 실행과 컴파일러 스케줄링, reconfigurable dataflow가 어떻게 낮은 지연을 만들어내는지, 그리고 GPU 대비 어디서 이기고 어디서 지는지 정리합니다.
Published on
2026년 6월 16일
추론을 빠르게 — 양자화, 희소성, Dataflow의 하드웨어 관점
inference quantization sparsity dataflow gpu hardware optimization
추론 비용의 구조를 메모리 월 관점에서 풀어내고, 양자화(INT8/FP8/FP4)와 구조적 희소성(2:4), dataflow 아키텍처, 연산자 융합, 배칭과 KV 캐시까지 하드웨어-소프트웨어 공동설계의 큰 그림을 정리합니다. 2026년 Blackwell FP4와 Vera Rubin 흐름을 반영해 실무 적용 포인트를 짚습니다.
Published on
2026년 6월 16일
메모리 월과 HBM — AI 성능을 가르는 진짜 병목
memory-wall hbm bandwidth roofline inference ai-hardware quantization
연산은 싸지고 데이터 이동은 비싸진 시대, AI 성능의 진짜 병목은 메모리입니다. 메모리 월 개념부터 HBM 세대, roofline 모델과 산술 강도, KV 캐시, 양자화로 대역폭을 절감하는 법까지 개발자 관점에서 정리합니다.
Published on
2026년 6월 12일
Diffusion LM의 부상 — 자기회귀의 대안이 될 수 있을까
llm diffusion text-generation gemma inference architecture
2026년 6월 구글이 DiffusionGemma를 공개하며 텍스트 확산 모델이 GeekNews와 해커뉴스를 달구고 있습니다. 자기회귀 생성의 구조적 한계, 마스킹 기반 디노이징의 원리, 블록 단위 병렬 생성, 4배 빠르다는 주장의 실체와 품질 트레이드오프까지 비판적으로 분석합니다.
Published on
2026년 6월 12일
로컬 LLM 인퍼런스 최적화 — 양자화부터 VRAM 한계 돌파까지
llm inference quantization llama-cpp vllm ollama gpu
프라이버시와 비용, 그리고 빅테크 피로감 속에 로컬 LLM이 다시 뜨고 있습니다. VRAM 중심의 하드웨어 선택, GGUF와 AWQ 양자화, llama.cpp와 vLLM과 Ollama 비교, KV cache 메모리 산수, VRAM을 스왑으로 쓰는 역발상 해킹까지 로컬 인퍼런스 최적화의 전체 지도를 그립니다.
Published on
2026년 5월 16일
AI 추론 엔진 2026 완벽 가이드 - vLLM · SGLang · llama.cpp · TGI · TensorRT-LLM · MLX · mistral.rs · DeepSpeed-MII · Aphrodite 심층 분석
llm-inference vllm sglang llama-cpp tgi tensorrt-llm mlx mistral-rs deepspeed aphrodite inference
2026년 LLM 추론은 더 이상 모델 선택의 문제가 아니라 엔진 선택의 문제가 됐다. vLLM V1, SGLang 0.4, TensorRT-LLM, TGI 3.x, llama.cpp, MLX-LM, mistral.rs, DeepSpeed-MII, Aphrodite, CTranslate2, ExLlamaV3, OpenVINO, AWS Neuron, Triton — 10개+ 엔진을 PagedAttention·Continuous Batching·Speculative Decoding·Disaggregated Inference·KV 양자화·NIM·Groq LPU 관점에서 한 줄로 비교한다. 자가 호스팅 ROI 계산과 한국·일본 추론 인프라까지.
Published on
2026년 5월 16일
LLM 서빙 & 로컬 추론 2026 — vLLM / llama.cpp / MLX / Ollama / LM Studio / SGLang / TGI 심층 비교
llm model-serving inference vllm llama-cpp mlx llamafile ollama lm-studio gpt4all sglang tgi ktransformers tensorrt-llm modular-max quantization deep-dive
2026년 LLM 서빙·추론 프레임워크의 지도를 그린다. 데이터센터 진영(vLLM·SGLang·TGI·Triton·TensorRT-LLM), 로컬 진영(llama.cpp·MLX·llamafile·Ollama·LM Studio·GPT4All), 신생 진영(KTransformers·MLC LLM·Modular MAX), 그리고 클라우드 서빙 SaaS(Together·Fireworks·Groq·Cerebras·SambaNova·Lepton-NVIDIA 인수). 양자화 포맷(GGUF Q4_K_M·AWQ·GPTQ·FP8), 한국·일본 모델 생태계(Upstage Solar·KT Mi:dm·Sakana·NTT Tsuzumi·ELYZA)까지 — 누가 무엇을 골라야 하나.
Published on
2026년 4월 15일
FlashAttention & Efficient Attention Deep Dive — Tiling, Online Softmax, PagedAttention, GQA 완전 정복 (2025)
flashattention attention llm transformer gpu cuda inference machine-learning
LLaMA 3, GPT-4, Claude 같은 대형 모델을 효율적으로 훈련하고 서빙 가능하게 만든 핵심 최적화, FlashAttention과 그 후속 기법들. 이 글은 efficient attention을 처음부터 해부합니다. Naive attention의 O(N²) 메모리 문제, Tri Dao의 2022년 IO-aware 통찰, Tiling과 Online Softmax, SRAM vs HBM 활용, FlashAttention-2/3의 진화, PagedAttention(vLLM)이 KV cache를 OS 가상 메모리처럼 다룬 이유, Multi-Query/Grouped-Query Attention, Sliding Window, Ring Attention까지 — 현대 LLM 인프라의 성능 비밀을 제대로 이해하고 싶은 엔지니어를 위한 종합 가이드입니다.
Published on
2026년 4월 13일
Edge AI 완전 가이드 2025: 온디바이스 추론, 모델 최적화, TensorRT/ONNX/CoreML
edge-ai on-device inference tensorrt onnx coreml quantization pruning mobile-ai iot 2026-04
Edge AI의 모든 것! 온디바이스 추론(TensorRT/ONNX Runtime/CoreML/TFLite), 모델 최적화(양자화/프루닝/지식 증류), 하드웨어(NVIDIA Jetson/Apple Neural Engine/Qualcomm NPU), Federated Learning, 프라이버시 보존 AI, 실전 배포.
Published on
2026년 3월 17일
LLM 추론 최적화 완전 가이드: KV Cache, Speculative Decoding, Continuous Batching
llm inference optimization kv-cache speculative-decoding vllm 2026-03
LLM 추론을 극한까지 최적화하는 완전 가이드. KV Cache, Speculative Decoding, Continuous Batching, PagedAttention, FlashInfer, 멀티GPU 추론, 그리고 DeepSeek MLA까지 심층 분석합니다.
Published on
2026년 3월 17일
AI 모델 서빙과 추론 최적화 완전 가이드: vLLM, TensorRT, Triton, Ollama
mlops model-serving vllm tensorrt triton inference optimization 2026-03
AI 모델을 프로덕션에서 효율적으로 서빙하는 완전 가이드. vLLM, TensorRT, NVIDIA Triton Inference Server, Ollama, 양자화(INT8/INT4), 배치 처리, 지연 최적화까지 실전 예제로 마스터합니다.
Published on
2026년 3월 15일
BitNet 1-bit LLM 추론 프레임워크: CPU에서 대규모 언어 모델 실행하기
llm bitnet 1-bit-llm inference cpu-deployment model-efficiency 2026-03
Microsoft의 BitNet 프레임워크를 활용하여 GPU 없이 CPU만으로 대규모 언어 모델을 실행하는 방법을 분석합니다. 1-bit LLM의 원리, 기존 양자화와의 차이, 설치부터 배포까지의 실전 가이드를 다룹니다.
Published on
2026년 3월 12일
LLM 추론 서빙 프레임워크 비교: TensorRT-LLM vs vLLM vs SGLang 프로덕션 배포 전략
llm inference tensorrt-llm vllm sglang model-serving gpu 2026-03
LLM 추론 서빙 3대 프레임워크를 비교합니다. TensorRT-LLM의 하드웨어 최적화, vLLM의 PagedAttention과 프로덕션 스택, SGLang의 RadixAttention과 구조화 생성까지 벤치마크 데이터와 배포 코드로 최적의 선택을 안내합니다.
Published on
2026년 3월 4일
AI Papers: Test-Time Scaling 핵심 논문 정리 — 추론 예산으로 성능을 끌어올리는 방법
ai-papers test-time-scaling reasoning inference llm best-of-n self-consistency
Test-Time Scaling(TTS)은 학습 파라미터를 늘리지 않고 추론 시점의 계산 예산을 늘려 성능을 높이는 접근이다. 이 글은 Best-of-N, Self-Consistency, Tree Search, Verifier/Reranker 기반 방법을 논문 맥락과 실무 적용 관점에서 정리한다.
Published on
2026년 3월 3일
vLLM 완벽 가이드 — PagedAttention부터 프로덕션 최적화까지
llm vllm inference paged-attention model-serving 2026-03
vLLM의 핵심인 PagedAttention 메커니즘부터 Continuous Batching, Tensor/Pipeline Parallelism, Prefix Caching까지 LLM 추론 최적화의 모든 것을 다룹니다.
Published on
2026년 3월 2일
Speculative Decoding으로 LLM 추론 2~3배 빠르게: 원리부터 실전 구현까지
llm speculative-decoding inference optimization vllm draft-model token-verification latency throughput model-serving
Speculative Decoding의 수학적 원리, Draft-Verify 파이프라인, 수용 확률 분석, vLLM/TensorRT-LLM에서의 실전 적용법, 그리고 Apple의 Mirror Speculative Decoding까지 심층 분석한다.
Published on
2026년 3월 1일
LLM 추론 최적화: vLLM과 TensorRT-LLM 심층 분석
llm inference vllm tensorrt-llm optimization
vLLM과 TensorRT-LLM 공식 문서를 기반으로 PagedAttention, Continuous Batching, 양자화 등 LLM 추론 최적화 핵심 기술을 분석한다.
Published on
2026년 3월 1일
vLLM & Ollama 완벽 가이드: LLM 서빙 엔진의 구동, 파라미터, 환경변수 총정리
vllm ollama model-serving inference gpu quantization openai-api deep-learning devops
vLLM의 PagedAttention 아키텍처와 Ollama의 로컬 LLM 실행 환경을 심층 비교한다. 설치부터 서버 구동, API 호출, 주요 CLI 인자, 샘플링 파라미터, 환경변수, 양자화(AWQ/GPTQ/GGUF), 멀티 GPU 구성, Docker 배포, 성능 튜닝까지 — LLM 서빙에 필요한 모든 설정을 실전 예제와 함께 총정리한다.

Inference

inference (38)