Reinforcement-learning

머신러닝의 세 가지 패러다임을 비교하고, 강화학습의 핵심 구성 요소(에이전트, 환경, 보상)와 마르코프 결정 과정(MDP)의 수학적 기초를 살펴봅니다.

OpenAI Gym의 구조와 API를 이해하고, CartPole 환경에서 무작위 에이전트와 래퍼를 활용한 실습을 진행합니다.

PyTorch의 텐서 연산, 자동 미분, 신경망 구성 요소를 학습하고, TensorBoard 모니터링과 Atari 이미지를 활용한 GAN 예제를 구현합니다.

강화학습 방법론의 분류를 살펴보고, Cross-Entropy 방법을 이용하여 CartPole과 FrozenLake 환경을 해결합니다.

상태 가치와 행동 가치의 개념을 이해하고, 벨만 최적 방정식을 기반으로 가치 반복법과 Q-러닝을 FrozenLake에 적용합니다.

테이블 기반 Q-러닝의 한계를 극복하는 DQN의 핵심 아이디어(경험 리플레이, 타겟 네트워크)를 이해하고, Pong 환경에서 구현합니다.

DQN의 성능을 향상시키는 6가지 핵심 확장 기법(N-step, Double DQN, Noisy Networks, Prioritized Replay, Dueling DQN, Categorical DQN)과 이들을 결합한 Rainbow를 구현합니다.

주식 트레이딩을 강화학습 문제로 정의하고, 커스텀 거래 환경을 설계한 뒤 피드포워드 및 CNN 모델로 트레이딩 에이전트를 학습시킵니다.

가치 기반 방법과 정책 기반 방법의 차이를 이해하고, Policy Gradient의 수학적 유도 과정과 REINFORCE 알고리즘을 CartPole과 Pong에 적용합니다.

REINFORCE의 분산 문제를 해결하는 Actor-Critic 구조를 이해하고, A2C 알고리즘을 Pong에 적용하며, 학습률, 엔트로피 계수 등 주요 하이퍼파라미터의 영향을 분석합니다.

A2C의 상관관계 문제를 비동기 병렬 학습으로 해결하는 A3C 알고리즘의 원리와 데이터/그래디언트 병렬화 구현

Seq2Seq 모델과 강화학습을 결합한 챗봇 훈련: RNN 기초부터 Self-Critical Sequence Training(SCST)까지

브라우저 자동화와 강화학습의 결합: Mini World of Bits 벤치마크와 OpenAI Universe를 활용한 웹 에이전트 구현

연속 행동 공간을 다루는 방법: A2C 확장, DDPG의 결정적 정책 그래디언트, 분포 정책 그래디언트

정책 업데이트의 안정성을 보장하는 Trust Region 기법: PPO의 클리핑 목적함수, TRPO의 제약 최적화, ACKTR

그래디언트 없이 정책을 최적화하는 방법: 진화 전략(ES)과 유전 알고리즘(GA)의 원리와 구현

모델 기반 RL의 원리와 I2A(Imagination-Augmented Agent): 환경 모델을 학습하고 상상 속에서 계획하는 에이전트

AlphaGo Zero의 핵심 원리: MCTS와 자기 대국(self-play), 그리고 Connect4 봇 구현

로봇 제어, 자율주행, 자원 관리, 추천 시스템, NLP, 게임 AI 등 심층 강화학습의 다양한 실전 활용

가치 기반, 정책 기반, Actor-Critic, 모델 기반 등 심층 강화학습 알고리즘의 체계적 비교와 선택 기준

강화학습의 핵심 이론인 MDP, Bellman 방정식부터 Q-Learning, DQN, Policy Gradient, A3C, PPO, SAC까지 주요 알고리즘을 수식으로 유도하고, RLHF, AlphaGo, 로보틱스 응용 사례와 PyTorch 구현 예제를 총정리한다.