vLLM에 요청 하나가 들어와 토큰이 나오기까지의 전체 경로를 따라갑니다. API 서버, 스케줄러, KV 캐시 매니저, 워커, 샘플러가 각각 무슨 일을 하는지, V1 재작성 이후 프로세스가 어떻게 나뉘는지를 공식 문서와 소스로 확인해 정리했습니다. vLLM 내부 구조 시리즈 1편.
LLM 애플리케이션 스택은 추론 서버, 오케스트레이션, 게이트웨이, 에이전트, RAG로 층이 갈라졌습니다. 각 층에서 실제로 쓰이는 오픈소스 12개를 스타 순위가 아니라 역할별로 묶어 소개합니다. 프로젝트마다 무엇을 대체하는지, 성숙도가 어느 정도인지, 어떤 상황에서 쓰면 안 되는지를 함께 정리했고, 저장소 경로와 라이선스, 스타 수, 최근 푸시 날짜는 2026년 8월 12일 GitHub에서 직접 확인한 값을 그대로 적었습니다. Open WebUI의 브랜딩 제한 조항처럼 OSI 승인 오픈소스가 아닌 경우도 숨기지 않고 표시합니다.
A practical comparison of AI gateway layers as of 2026-04-12, showing where Vercel AI Gateway, Cloudflare AI Gateway, and Amazon Bedrock AgentCore Gateway belong in the stack.
2025년 12월 22일 공개된 Vercel AI SDK 6와 AI Gateway를 바탕으로, 2026년 멀티 모델 아키텍처를 설계하는 방법과 fallback, provider routing, human approval, Next.js 도입 체크리스트를 실무 관점에서 정리한다.
A practical guide to Amazon Bedrock AgentCore for teams that need secure, production-ready agents, with clear coverage of Runtime, Memory, Gateway, observability, and rollout checks.
Azure AI Foundry Agent Service를 엔터프라이즈 관점에서 정리한 실전 가이드로, 왜 관리형 에이전트가 필요한지, 도구 카탈로그와 원격 MCP 서버를 어떻게 활용하는지, 그리고 tracing, evaluation, governance, private networking 기준으로 어떻게 배포를 판단할지 설명한다.
A practical comparison of three managed agent platforms as of 2026-04-12, including product fit, governance, tooling, deployment, and rollout checklists grounded in official docs.
2025년 3월 11일 공개된 OpenAI Responses API와 Agents SDK를 기준으로, 어떤 팀이 Chat Completions를 유지하고 어떤 팀이 Responses API로 옮겨야 하는지, Assistants API 사용자는 무엇을 언제 준비해야 하는지 실무 중심으로 정리한다.
A practical guide to OpenAI reinforcement fine-tuning with custom graders, including when to use it, how to prepare data, how to evaluate checkpoints, and how to roll it out safely.
2026년 3월 Anthropic이 Claude Opus 4.6/Sonnet 4.6의 1M 토큰 컨텍스트 윈도우를 GA로 발표했다. 기존 128K~200K 제한에서 1M으로의 확장이 가져오는 활용 패러다임의 전환, 실전 활용 패턴 5가지, RAG 대비 트레이드오프, 비용 최적화 전략까지 종합 가이드를 제공한다.
KServe를 활용한 Kubernetes 기반 모델 서빙을 다룹니다. InferenceService CRD로 모델 배포, Canary 전략으로 안전한 롤아웃, Transformer로 전후처리 파이프라인, InferenceGraph로 DAG 기반 복합 추론까지 프로덕션 운영 전략을 코드와 함께 구현합니다.
Kubeflow Pipelines를 활용한 ML 워크플로우 오케스트레이션을 실전 중심으로 다룹니다. KFP v2 SDK 아키텍처, 파이프라인 컴포넌트 작성, 캐싱 전략, Argo Workflows/Airflow 비교, 장애 대응까지 프로덕션 환경에서 필요한 전략을 상세히 설명합니다.
MLflow를 활용한 ML 실험 추적, 모델 레지스트리, 배포 파이프라인을 실전 중심으로 다룹니다. Tracking Server 아키텍처부터 자동 로깅, 모델 버전 관리, Kubernetes/Docker 배포까지 프로덕션 환경에서 필요한 MLOps 전략을 상세히 설명합니다.
오픈소스만으로 실시간 음성 챗봇을 구현하는 종합 가이드. Silero VAD, faster-whisper, Ollama, Piper TTS를 조합한 파이프라인에 barge-in(사용자 발화 시 즉시 응답 중단) 기능을 구현하는 상태머신 설계, Python 예시 코드, 지연시간 최적화, 한국어 품질 개선 팁까지 다룹니다.
NVIDIA Triton Inference Server를 활용한 GPU 모델 서빙 최적화 가이드. Dynamic Batching, Model Ensemble, TensorRT 통합, 멀티 모델 서빙, Kubernetes 배포, 성능 프로파일링과 프로덕션 트러블슈팅까지 다룹니다.