Published on2026년 3월 13일RLHF에서 DPO까지: LLM 정렬(Alignment) 기술 논문 심층 분석ai-papersrlhfdpoalignmentppoconstitutional-aillmLLM 정렬 기술의 핵심 논문들을 심층 분석합니다. InstructGPT의 RLHF 파이프라인, Anthropic의 Constitutional AI, DPO의 수학적 기반, PPO 학습 안정성, 그리고 KTO/IPO/ORPO 등 최신 연구까지 체계적으로 비교하고 실무 적용 방안을 정리합니다.