Ai-papers

Transformer 아키텍처의 핵심인 "Attention Is All You Need" 논문을 Self-Attention, Multi-Head Attention, Positional Encoding 등 핵심 메커니즘을 하나씩 분석한다.

FlashAttention 논문을 리뷰하고, GPU HBM/SRAM 메모리 계층을 활용한 IO-aware 어텐션 최적화 원리를 상세 분석한다.

LoRA(Low-Rank Adaptation) 논문의 핵심 원리를 수학적으로 분석하고, HuggingFace PEFT를 활용한 실전 적용법을 정리한다.

RAG 논문의 핵심 개념을 분석하고, Chunking 전략, Vector DB 선택, Advanced RAG 패턴 등 프로덕션 레벨 RAG 시스템 설계를 정리한다.