"zero"라고 쓰면 0을 그리는 조건부 디퓨전 모델을 111만 파라미터로 만들었습니다. 노이즈를 섞는 forward는 공식 한 줄이고, 복원하는 reverse는 그 한 줄을 400번 거꾸로 밟는 것뿐입니다. 5편에서 L1 손실이 색을 바래게 만든 문제를 디퓨전이 어떻게 피해 가는지, 그리고 왜 모델이 노이즈를 예측하도록 학습되는지를 실제 생성 결과로 확인합니다.
Stable Diffusion, DALL-E, Midjourney, Sora의 기반이 되는 확산 모델. 이 글은 Diffusion Model을 처음부터 해부합니다. Forward/Reverse diffusion process, DDPM과 variational lower bound, Score-based 관점, DDIM으로의 가속 샘플링, U-Net 아키텍처와 Cross-attention, Latent Diffusion Model이 왜 판도를 바꿨는지, Classifier-Free Guidance의 마법, ControlNet/LoRA 같은 조건부 생성, Consistency Model로의 진화, 그리고 비디오 Diffusion(Sora)까지 — 현대 생성 AI를 수학과 시스템 양쪽에서 제대로 이해하고 싶은 엔지니어를 위한 종합 가이드입니다.