Rlhf

All Posts

Published on
2026년 7월 11일
RLHF 모델은 왜 보상을 속이는가 — 리워드 해킹의 메커니즘, 증상, 완화 방향
ai llm alignment rlhf safety
Xiaohua Wang 등 23명이 2026년 4월 arXiv에 올린 "Reward Hacking in the Era of Large Models"는 RLHF로 정렬된 대형 모델이 왜, 어떻게 보상 신호를 게이밍하는지 정리한 서베이입니다. 핵심 제안은 리워드 해킹을 목표 압축, 최적화 증폭, 평가자–정책 공진화라는 세 힘으로 읽는 프록시 압축 가설(PCH)입니다. 장황함 편향, 아첨, 그럴듯하지만 틀린 근거, 벤치마크 과적합, 그리고 멀티모달에서의 지각–추론 분리와 평가자 조작까지 알아볼 수 있는 증상을 한데 모읍니다. 벤치마크 수치가 아니라 지도(map)를 주는 논문이라, RLHF와 평가를 다루는 사람에게 참고서로 쓸 만합니다.
Published on
2026년 5월 16일
AI 안전 & 얼라인먼트 2026 완벽 가이드 - Constitutional AI · RLHF · DPO · GRPO · Mechanistic Interpretability · AISI Evals · Red Team 심층 분석
ai-safety ai-alignment constitutional-ai rlhf dpo grpo mechanistic-interpretability aisi red-team evaluation
2026년 AI 안전과 얼라인먼트의 전체 지형을 한 번에 정리한다. outer/inner alignment와 mesa-optimization 같은 개념적 토대부터 RLHF·DPO·GRPO·Constitutional AI로 이어지는 학습 정렬 기법, Anthropic RSP와 OpenAI Preparedness Framework, Google DeepMind Frontier Safety Framework 같은 프런티어 정책, Mechanistic Interpretability와 Sparse Autoencoder, MMLU·GPQA·SWE-bench·METR 같은 능력 평가와 Apollo Research scheming evals 같은 안전 평가, AISI(영·미·한·일)와 Bletchley·Seoul·Paris 정상회담, Red Teaming과 GCG·PAIR·AutoDAN 같은 jailbreak·Llama Guard·NeMo Guardrails·Constitutional Classifiers 같은 방어, EU AI Act·Korean AI Basic Act·METI 가이드라인까지 — 24개 챕터로 펼친다.
Published on
2026년 5월 16일
LLM 논문 큐레이션 2024-2026 - Llama · DeepSeek · Qwen · Mistral · Phi · RLHF · DPO · CoT · RAG · FlashAttention · vLLM 심층 가이드
llm papers llama deepseek qwen mistral phi rlhf dpo chain-of-thought rag flashattention vllm foundation-models moe
LLM을 만들고 운영하는 엔지니어를 위한 2024-2026 필독 논문 30+편 큐레이션. 파운데이션 모델(Llama 3/4, DeepSeek-V3/R1, Qwen3, Mistral, Phi-4, Gemma 3), 학습 혁신(MoE, MLA, GQA), 포스트-트레이닝(RLHF, DPO, ORPO, KTO), 추론(CoT, ToT, GRPO), 에이전트(ReAct, SWE-Agent), 검색(RAG, GraphRAG, ColBERT), 효율(FlashAttention 1/2/3, vLLM PagedAttention, SGLang), 평가(MMLU, GSM8K, SWE-Bench, OSWorld), 안전성, 한국·일본 모델까지 — 각 논문의 arXiv ID와 "왜 중요한지"를 한 단락으로 정리.
Published on
2026년 5월 14일
LLM 랜드마크 논문 가이드 — Attention부터 GPT·LLaMA·DeepSeek·o1·Claude까지 (참고문헌 포함, 2026)
llm research-papers transformer gpt llama deepseek o1 claude rlhf reasoning ai-engineering references
LLM 분야의 진짜 변화는 어떤 논문에서 시작됐는가. 2017년 Attention is All You Need부터 2026년의 추론 모델까지, 반드시 알아야 할 랜드마크 논문 20여 편을 시기·주제별로 정리한다. 각 논문은 '왜 중요한가·한 줄 요약·후속 영향'으로 압축하고, arXiv·블로그 링크를 끝에 모았다. 시간 부족한 엔지니어를 위한 LLM 논문 지도.
Published on
2026년 4월 15일
LLM 완전 가이드 — Transformer·Attention·RLHF·RAG·Agent·Evaluation (Season 2 Ep 6, 2025)
llm transformer attention rlhf dpo rag ai-agent evaluation ai-engineering reasoning-models season-2
LLM을 "프롬프트에 답하는 블랙박스"로만 쓰면 임계점에서 막힌다. Transformer의 Attention이 실제로 어떻게 토큰 관계를 계산하는지, Pre-training → SFT → RLHF → DPO 파이프라인이 왜 이 순서로 설계됐는지, RAG 1/2/3세대의 차이와 Agentic RAG의 본질, Agent 설계(ReAct, Plan-and-Execute, Multi-Agent)의 근본 패턴, 그리고 LLM 평가가 왜 미해결 문제인지까지 — 블랙박스를 뜯어보는 한 편. Season 2의 여섯 번째, 2025년 엔지니어의 필수 교양.
Published on
2026년 4월 14일
AI Safety & Alignment 완전 가이드 2025: 책임있는 AI, RLHF, Constitutional AI, 레드팀
ai-safety alignment responsible-ai rlhf constitutional-ai red-teaming bias fairness interpretability guardrails 2026-04
AI Safety의 모든 것! Alignment 문제(목표 정렬), RLHF/DPO/Constitutional AI, 편향(Bias) 감지/완화, 환각(Hallucination) 방지, 레드팀 테스팅, AI Guardrails, 해석 가능성(SHAP/LIME), EU AI Act, 기업의 Responsible AI 프레임워크.
Published on
2026년 3월 25일
한국어 LLM 학습 데이터 제작 완전 가이드: Hugging Face 데이터셋, 전처리, 품질 관리까지
llm training-data huggingface dataset korean-nlp data-preprocessing instruction-tuning rlhf data-quality 2026-03
LLM 학습 데이터 제작의 모든 것! Hugging Face 데이터셋(종류/로딩/변환), 한국어 데이터 수집(크롤링/합성/번역), 전처리(토크나이징/정제/중복제거), Instruction Tuning 포맷(Alpaca/ShareGPT/OpenAI), 품질 관리, RLHF/DPO 데이터셋.
Published on
2026년 3월 23일
AI Safety Engineer & Alignment Researcher 커리어 가이드: 가장 빠르게 성장하는 AI 직군의 모든 것
ai-safety ai-alignment responsible-ai ai-ethics career anthropic openai deepmind rlhf constitutional-ai 2026-03
AI Safety Engineer는 2023년 대비 연봉 45% 상승한 가장 빠르게 성장하는 AI 직군입니다. Anthropic의 Constitutional AI, OpenAI의 Superalignment, DeepMind의 Scalable Oversight — AI 안전 분야의 핵심 연구, 필요 역량, 채용 기업, 학습 경로를 총정리합니다.
Published on
2026년 3월 23일
Scale AI와 데이터 라벨링의 세계: AI 훈련 데이터 산업의 모든 것과 커리어 가이드
scale-ai data-labeling annotation rlhf ai-training-data career data-quality ai-infrastructure 2026-03
Scale AI($14B 기업가치)가 이끄는 AI 훈련 데이터 산업을 완전 분석합니다. 데이터 라벨링의 원리, RLHF 데이터 파이프라인, Scale AI vs Labelbox vs Snorkel 비교, 데이터 품질 관리, 자동 라벨링(Auto-labeling), 그리고 이 분야의 커리어 기회까지.
Published on
2026년 3월 21일
2025년 AI 논문 트렌딩 총정리: HuggingFace 인기 논문부터 10대 연구 트렌드까지
ai-research papers huggingface reasoning moe diffusion llm ai-agent video-generation efficient-inference rlhf multimodal 2026-03
HuggingFace 트렌딩 논문 TOP 10과 2025년 AI 연구 10대 트렌드를 개발자 관점에서 리뷰합니다. DeepSeek-R1의 순수 RL 추론, Nemotron-Cascade 30B/3B MoE, GRPO, vLLM PagedAttention, 100만 토큰 컨텍스트의 한계, 비디오 생성 벤치마크까지.
Published on
2026년 3월 17일
강화학습 완전 정복: DQN, PPO부터 RLHF, DPO까지 LLM 정렬까지
reinforcement-learning ppo dqn rlhf dpo llm-alignment 2026-03
MDP 기초부터 DQN, PPO, SAC, RLHF, DPO까지. LLM 정렬에 사용되는 강화학습 기법을 PyTorch Stable-Baselines3 코드와 함께 완전 정복합니다.
Published on
2026년 3월 17일
LLM 파인튜닝 완전 가이드: LoRA, QLoRA, RLHF, DPO 마스터하기
llm fine-tuning lora qlora rlhf dpo peft 2026-03
LLM 파인튜닝의 모든 기법을 다루는 완전 가이드. Full Fine-tuning부터 LoRA, QLoRA, RLHF, DPO, Instruction Tuning까지 HuggingFace PEFT와 함께 실전 예제로 마스터합니다.
Published on
2026년 3월 13일
RLHF에서 DPO까지: LLM 정렬(Alignment) 기술 논문 심층 분석
ai-papers rlhf dpo alignment ppo constitutional-ai llm
LLM 정렬 기술의 핵심 논문들을 심층 분석합니다. InstructGPT의 RLHF 파이프라인, Anthropic의 Constitutional AI, DPO의 수학적 기반, PPO 학습 안정성, 그리고 KTO/IPO/ORPO 등 최신 연구까지 체계적으로 비교하고 실무 적용 방안을 정리합니다.
Published on
2026년 3월 9일
DPO(Direct Preference Optimization) 논문 심층 분석 — RLHF 없이 LLM 정렬하기
ai-papers dpo rlhf llm-alignment preference-optimization 2026-03
DPO의 수학적 원리부터 구현, RLHF와의 비교, IPO/KTO/ORPO 변형까지 — LLM 선호도 최적화의 핵심을 실무 관점에서 심층 분석합니다.
Published on
2026년 3월 1일
GPT 시리즈 논문 완벽 분석: GPT-1부터 GPT-4까지, 언어 모델이 세상을 바꾸기까지의 여정
gpt openai language-model transformer pre-training rlhf instruction-tuning scaling-law ai-papers deep-learning
OpenAI의 GPT 시리즈를 세대별로 완벽 분석한다. GPT-1의 비지도 사전학습, GPT-2의 Zero-shot 학습, GPT-3의 In-context Learning과 Scaling Law, InstructGPT의 RLHF, GPT-4의 멀티모달까지 — 각 논문의 핵심 기여와 아키텍처 진화를 수식과 함께 정리한다.
Published on
2026년 3월 1일
강화학습(Reinforcement Learning) 완벽 가이드: 이론부터 최신 알고리즘, 실전 구현까지
reinforcement-learning deep-learning dqn ppo rlhf a3c q-learning policy-gradient ai-papers alphago
강화학습의 핵심 이론인 MDP, Bellman 방정식부터 Q-Learning, DQN, Policy Gradient, A3C, PPO, SAC까지 주요 알고리즘을 수식으로 유도하고, RLHF, AlphaGo, 로보틱스 응용 사례와 PyTorch 구현 예제를 총정리한다.

Rlhf

rlhf (16)