Pre-training

Google의 BERT 논문을 심층 분석한다. Masked Language Model(MLM)과 Next Sentence Prediction(NSP)을 통한 양방향 사전학습, Fine-tuning 전략, 그리고 11개 NLP 벤치마크를 석권한 아키텍처의 핵심 원리를 수식과 코드 예제로 정리한다.

OpenAI의 GPT 시리즈를 세대별로 완벽 분석한다. GPT-1의 비지도 사전학습, GPT-2의 Zero-shot 학습, GPT-3의 In-context Learning과 Scaling Law, InstructGPT의 RLHF, GPT-4의 멀티모달까지 — 각 논문의 핵심 기여와 아키텍처 진화를 수식과 함께 정리한다.