Caching

All Posts

Published on
2026년 7월 8일
LLM 캐싱의 원리 — 프롬프트 캐싱과 Prefix Cache는 왜 돈을 아껴주는가
ai llm caching inference performance
프롬프트 앞부분이 같으면 왜 비용이 10분의 1이 될까요? 답은 트랜스포머 내부의 KV 캐시에 있습니다. 어텐션이 인과적(causal)이라 앞쪽 토큰들의 Key/Value 벡터는 뒤에 무엇이 오든 변하지 않고, 그래서 저장해 뒀다가 재사용할 수 있습니다. prefill과 decode의 구분, KV 캐시의 메모리 수치, vLLM·SGLang의 prefix cache 구현, 그리고 Anthropic·OpenAI 프롬프트 캐싱의 가격 구조와 실전 설계 규칙까지 — 겹치는 앞부분이 연산을 지워주는 전체 메커니즘을 바닥부터 설명합니다.
Published on
2026년 6월 19일
캐시 무효화 완전정복
performance caching systems
"컴퓨터 과학에서 어려운 두 가지: 캐시 무효화와 이름 짓기." 캐시가 왜 그렇게 어려운지, TTL·write-through·write-behind·cache-aside 같은 전략, 캐시 스탬피드(도그파일)와 그 완화(잠금·지터·stale-while-revalidate), 이벤트 기반과 버전 키를 이용한 무효화, 그리고 CPU에서 브라우저까지 이어지는 캐시 계층을 정리합니다.
Published on
2026년 5월 16일
인메모리 캐싱 & KV 스토어 2026 — Redis 8 / Valkey / KeyDB / Dragonfly / Memcached / Garnet (Microsoft) / Speedb 심층 비교
caching key-value-store redis valkey keydb dragonfly memcached apache-ignite hazelcast infinispan aerospike tarantool elasticache memorydb garnet-microsoft skytable speedb rocksdb lru-cache cachetools caffeine cache-aside read-through write-through write-back hot-key cache-stampede deep-dive
2024년 3월 Redis 의 RSALv2/SSPL 라이선스 변경이 일으킨 인메모리 캐시 진영의 대분열을 2026년 5월 기준으로 정리합니다. Redis 8 의 최신 변화, Linux Foundation 이 받아들인 Valkey, Snap 이 사들인 KeyDB, Roman Gershman 의 멀티 스레드 Dragonfly, 여전히 살아있는 Memcached, Microsoft 가 깜짝 공개한 .NET 기반 Garnet, Apache Ignite / Hazelcast / Infinispan 같은 JVM 진영, Aerospike, Tarantool, AWS Elasticache vs MemoryDB vs Valkey, Skytable / Speedb 같은 차세대 후보까지 한 번에. cache-aside / read-through / write-through / write-back / write-around 분산 캐시 패턴, hot key 와 cache stampede 의 singleflight / dogpile 회피, node-cache / lru-cache / cachetools / Caffeine 같은 프로세스 내 캐시 라이브러리, RedisJSON / RediSearch / RedisGraph (sunset) / RedisTimeSeries / RedisBloom 의 모듈 분열, 그리고 카카오 / 토스 / 메르카리 / NTT 의 실제 운영 사례까지 — 누가 무엇을 골라야 하는지 한 번에 정리합니다.
Published on
2026년 4월 15일
CDN 완벽 가이드 — Cache, Edge Compute, Origin Shield, HTTP 캐싱 헤더 모든 것 (2025)
cdn caching edge-compute cloudflare fastly cloudfront http networking systems
CDN의 모든 것 — 1998년 Akamai에서 시작된 edge caching의 역사, Anycast + DNS + GSLB의 라우팅 삼위일체, PoP과 edge 서버의 물리적 구조, Cache Key 설계와 Vary 헤더의 함정, HTTP 캐싱 헤더(Cache-Control, ETag, If-None-Match, stale-while-revalidate), Origin Shield와 Tiered Caching으로 origin 보호하기, 실시간 purge 메커니즘, Edge Compute(Cloudflare Workers, Fastly Compute@Edge, Lambda@Edge), Image 최적화와 AVIF/WebP, 대역폭 비용 경제학, DDoS 흡수와 Bot 관리, HTTP/3 at edge까지 1,500줄로 정리한 edge 인프라 딥다이브.
Published on
2026년 4월 15일
성능·Core Web Vitals 2025 완전 정복: LCP·CLS·INP, Real User Monitoring vs Synthetic, Critical Rendering Path, JS 번들·Image·Font 최적화, Caching·Edge·CDN·HTTP/3, Vercel Speed Insights·CrUX·PageSpeed, 한국 네트워크 특성 — Season 6 Ep 6
performance core-web-vitals lcp cls inp rum image-optimization font-optimization caching edge cdn http3 speed-insights crux pagespeed
성능은 기능이 아니라 모든 기능의 조건이다. 2025년 Core Web Vitals 전 영역. LCP·CLS·INP(FID 후계) 핵심 지표와 75p 기준, Real User Monitoring vs Synthetic Test, Critical Rendering Path 최적화, JS 번들 다이어트(Rollup·esbuild·swc·Turbopack), 이미지 최적화(AVIF·Next/Image·Astro Image), 폰트 최적화(font-display·Variable·Subset·font-face-size-adjust), Caching 전략과 Service Worker, Edge·CDN·HTTP/3, Vercel Speed Insights·CrUX·PageSpeed, 한국 네트워크 특성(지하철·5G) 고려까지. Season 6 Ep 6.
Published on
2026년 4월 14일
백엔드 성능 엔지니어링 완전 가이드 2025: 프로파일링, 부하 테스트, 병목 분석, 최적화
backend-performance profiling load-testing optimization k6 artillery flamegraph connection-pool caching n-plus-one 2026-04
백엔드 성능의 모든 것! 프로파일링(CPU/메모리/I-O), 부하 테스트(k6/Artillery/Locust), 병목 분석(DB/네트워크/CPU/메모리), N+1 해결, 커넥션 풀 튜닝, 캐싱 전략(Redis/CDN/Application), 비동기 처리, 배치 최적화.
Published on
2026년 4월 14일
웹 성능 최적화 완전 가이드 2025: Core Web Vitals, LCP/INP/CLS, 로딩 전략
web-performance core-web-vitals lcp inp cls lighthouse bundling lazy-loading caching cdn 2026-04
웹 성능 최적화의 모든 것! Core Web Vitals(LCP/INP/CLS), 이미지 최적화(WebP/AVIF/lazy), 번들 최적화(Tree Shaking/Code Splitting/Dynamic Import), 캐싱 전략(Service Worker/CDN/HTTP Cache), 렌더링 패턴(SSR/SSG/ISR/Streaming), Lighthouse, 성능 모니터링.
Published on
2026년 4월 12일
시스템 설계 기초 완전 가이드 — 확장성, 가용성, 캐싱, 메시지 큐
architecture system-design scalability caching message-queue database 2026-04
대규모 시스템을 설계하기 위한 핵심 개념. 수평/수직 확장, 로드밸런싱, 캐싱, 메시지 큐, 데이터베이스 설계, CAP 정리까지.
Published on
2026년 4월 12일
Cloudflare AI Gateway 실전 가이드: AI 트래픽을 관찰하고 제어하는 가장 빠른 방법
ai-platform cloudflare ai-gateway observability caching rate-limiting routing reliability cost-control 2026-04
Cloudflare AI Gateway를 왜 쓰는지, 어떤 제어가 가능한지, Dynamic Routing과 자동 재시도를 어떻게 함께 써야 하는지 2026년 4월 기준으로 실무적으로 정리한다.
Published on
2026년 3월 25일
시스템 디자인 면접 완전 가이드 2025: 대규모 시스템 설계, 확장성, 가용성 패턴
system-design scalability availability load-balancing caching database-sharding cdn microservices interview architecture 2026-03
시스템 디자인 면접의 모든 것! 4단계 프레임워크, 확장성(수평/수직), 로드 밸런싱, 캐싱(Redis/CDN), DB 샤딩, CAP 정리, 메시지 큐, 실전 설계(URL Shortener/Twitter/Netflix/채팅), 면접 팁.
Published on
2026년 3월 24일
Nginx 완전 가이드 2025: 리버스 프록시, 로드 밸런싱, SSL, 캐싱부터 보안까지
nginx reverse-proxy load-balancing ssl caching rate-limiting web-server devops 2026-03
Nginx의 모든 것! 이벤트 드리븐 아키텍처, 리버스 프록시 설정, 로드 밸런싱(Round Robin/Least Conn/IP Hash), SSL/TLS 설정, 캐싱, Rate Limiting, WebSocket, Docker/K8s 연동까지.
Published on
2026년 3월 23일
Redis 완전 가이드 2025: 캐싱 전략, 데이터 구조, Pub/Sub, 그리고 Redis Stack까지
redis caching data-structures pubsub redis-stack session rate-limiting leaderboard backend 2026-03
Redis의 모든 것! 5가지 데이터 구조 활용법, 캐싱 패턴(Cache-Aside/Write-Through/Write-Behind), Pub/Sub, Redis Streams, Redis Stack(JSON/Search/TimeSeries), Lua 스크립트, Cluster, 면접 질문까지.
Published on
2026년 3월 3일
Redis 캐싱 전략 완벽 가이드 — Cache-Aside부터 Write-Behind까지 실전 패턴 6가지
database redis caching cache-aside write-through 2026-03
Redis를 활용한 6가지 캐싱 전략(Cache-Aside, Read-Through, Write-Through, Write-Behind, Refresh-Ahead, Cache Stampede 방지)을 코드 예제와 함께 다룹니다.
Published on
2026년 3월 1일
Nginx 설정 완벽 가이드: 아키텍처부터 프로덕션 최적화까지 15가지 핵심 주제
nginx reverse-proxy load-balancing ssl tls web-server performance security caching devops infrastructure rate-limiting compression monitoring
Nginx의 이벤트 기반 아키텍처와 설정 구조부터 리버스 프록시, 로드 밸런싱, SSL/TLS, 캐싱, Rate Limiting, 보안 헤더, 성능 튜닝, 헬스체크까지 — 프로덕션 환경에서 즉시 활용 가능한 15가지 핵심 설정을 실전 예제와 함께 완벽하게 정리한다.

Caching

caching (14)