Optimization

Prompt Engineering 심화! Chain-of-Thought(CoT), Tree-of-Thought(ToT), Self-Consistency, ReAct, 메타프롬프팅, Structured Output(JSON Mode), System Prompt 설계, Few-shot 최적화, Prompt Chaining, 평가(auto-eval), 프로덕션 프롬프트 관리.

백엔드 성능의 모든 것! 프로파일링(CPU/메모리/I-O), 부하 테스트(k6/Artillery/Locust), 병목 분석(DB/네트워크/CPU/메모리), N+1 해결, 커넥션 풀 튜닝, 캐싱 전략(Redis/CDN/Application), 비동기 처리, 배치 최적화.

컴파일러/인터프리터 설계의 모든 것! Lexer(토큰화), Parser(구문 분석/재귀 하강/Pratt), AST(추상 구문 트리), 의미 분석(타입 체크), IR(중간 표현), 코드 생성(LLVM/WebAssembly), 최적화(상수 폴딩/인라이닝/루프), 실전 미니 언어 구현.

FinOps의 모든 것! 클라우드 비용 가시성(Cost Explorer/Billing), 최적화 전략(Reserved/Spot/Savings Plans), 리소스 라이트사이징, 자동 스케일링, 스토리지 계층화, K8s 비용(Kubecost), AI/ML 비용 관리, FinOps 문화 구축.

Unsloth로 LLM 파인튜닝의 모든 것! QLoRA/LoRA 원리, 4bit 양자화(bitsandbytes), Unsloth 2x 속도 비밀, Llama 3/Mistral/Qwen 파인튜닝, 데이터 준비, 학습 설정, VRAM 최적화, GGUF/GPTQ 변환, 배포까지.

공업수학 시리즈의 첫 사이클을 마무리하며 수치해석, 최적화, 그래프, 확률과 통계가 왜 중요한지와 앞으로 어떤 순서로 공부하면 좋은지 정리합니다.

딥러닝 모델 학습 실패를 체계적으로 진단하고 해결하는 완전 가이드. Loss NaN, 기울기 소실/폭발, 과적합, 느린 수렴, 메모리 부족 등 모든 일반적인 문제의 원인과 해결책을 실전 코드와 함께 배웁니다.

딥러닝 모델을 효과적으로 학습시키는 모든 기법을 다루는 완전 가이드. 경사 하강법, 옵티마이저, 학습률 스케줄링, 정규화, 배치 정규화, 전이학습, 파인튜닝, 분산 학습까지 실전 코드와 함께 배웁니다.

LLM 추론을 극한까지 최적화하는 완전 가이드. KV Cache, Speculative Decoding, Continuous Batching, PagedAttention, FlashInfer, 멀티GPU 추론, 그리고 DeepSeek MLA까지 심층 분석합니다.

AI 모델을 프로덕션에서 효율적으로 서빙하는 완전 가이드. vLLM, TensorRT, NVIDIA Triton Inference Server, Ollama, 양자화(INT8/INT4), 배치 처리, 지연 최적화까지 실전 예제로 마스터합니다.

LLM 양자화 기법인 GPTQ, AWQ, GGUF, bitsandbytes의 원리, 벤치마크 비교, 실전 적용 가이드를 정리합니다. 모델 선택부터 서빙까지의 전체 워크플로우를 다룹니다.

AI/ML 논문을 읽을 때 반드시 만나는 수학 개념(선형대수·미적분·확률통계·최적화)과 LaTeX/KaTeX 수식 문법을 실전 예시 중심으로 총정리합니다. 기호 치트시트, 수식 패턴 해설, MDX 블로그 렌더링 팁까지 한 번에 다룹니다.

N+1 문제가 뭔지, 왜 위험한지, 어떻게 찾고, 어떻게 고치는지. Django, SQLAlchemy, JPA/Hibernate, Prisma, ActiveRecord까지 모든 ORM에서의 해결법을 실전 코드로 완전 정복합니다.

Speculative Decoding의 수학적 원리, Draft-Verify 파이프라인, 수용 확률 분석, vLLM/TensorRT-LLM에서의 실전 적용법, 그리고 Apple의 Mirror Speculative Decoding까지 심층 분석한다.

FlashAttention 논문을 리뷰하고, GPU HBM/SRAM 메모리 계층을 활용한 IO-aware 어텐션 최적화 원리를 상세 분석한다.

NVIDIA 공식 문서 기반으로 GPU 메모리 구성 요소를 분석하고, Mixed Precision Training, Gradient Checkpointing 등 메모리 최적화 기법을 정리한다.

vLLM과 TensorRT-LLM 공식 문서를 기반으로 PagedAttention, Continuous Batching, 양자화 등 LLM 추론 최적화 핵심 기술을 분석한다.