Chaos and Order

💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

들어가며
이 글이 우열을 가리지 않는 이유
비디오에서 지금 실제로 다투는 것
읽을 만한 기술 리포트 열 편
저자들이 스스로 밝힌 한계
실무자는 무엇부터 읽어야 하나
확인 방법과 시점
직접 해보기
참고 자료

들어가며

시리즈 3편은 비디오입니다. 이 영역만큼 리포트와 실제 사용 경험의 간극이 큰 곳도 드뭅니다. 데모 영상은 언제나 좋아 보이는데, 직접 돌려 보면 길이 제한과 해상도 제한과 대기 시간이 먼저 부딪힙니다.

그래서 이 글은 데모 대신 제약을 읽습니다. 초록에 적힌 초 단위 길이, 프레임률, 해상도, 필요한 VRAM, 토큰 예산이 그 모델로 무엇을 만들 수 있는지를 결정합니다.

논문 정보는 2026-08-12에 원문에서 직접 확인했습니다. 이 분야는 빠르게 바뀌므로 최신 상태는 직접 확인하세요.

이 글이 우열을 가리지 않는 이유

비디오 생성은 자동 지표가 사람 판단과 특히 잘 안 맞습니다. 뒤에 소개할 VBench 저자들도 기존 지표가 사람의 지각과 완전히 일치하지 않는다는 문제의식에서 출발합니다. 여기에 리포트마다 프롬프트 집합과 평가자 구성이 다르니, 리포트 간 점수 비교는 애초에 성립하기 어렵습니다.

그래서 이 글은 어느 모델이 낫다고 쓰지 않습니다. 각 리포트가 무엇을 가능하게 했고 그 대가로 무엇을 포기했는지만 정리합니다.

비디오에서 지금 실제로 다투는 것

[비디오 리포트의 제약 축]
 길이     : 몇 초를 한 번에 만드는가
 압축     : VAE 압축비가 디테일과 속도를 동시에 결정
 시간축   : 프레임 간 일관성과 카메라 이동
 이해     : 긴 영상을 몇 개의 토큰으로 표현할 것인가
 접근성   : 소비자용 GPU에서 돌아가는가

생성 쪽 리포트는 대체로 앞의 세 줄을, 이해 쪽 리포트는 네 번째 줄을 붙잡습니다. 다섯 번째 줄은 최근에야 1급 목표로 올라왔습니다.

읽을 만한 기술 리포트 열 편

CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer

arxiv.org/abs/2408.06072 — 2024-08-12 등록, v3는 2025-03-26.

초록이 밝히는 산출 사양이 명확합니다. 프롬프트에 정렬된 10초 연속 영상, 16fps, 768x1360 해상도입니다. 공간과 시간을 함께 압축하는 3D VAE, 텍스트와 영상 정렬을 위한 적응형 LayerNorm 기반 전문가 트랜스포머가 핵심입니다. 저자들은 이전 세대 문제를 짧은 길이와 제한된 움직임으로 규정하고 출발합니다.

Movie Gen: A Cast of Media Foundation Models

arxiv.org/abs/2410.13720 — Meta, 2024-10-17 등록, v2는 2025-02-26.

가장 큰 모델이 300억 파라미터이며 트랜스포머 컨텍스트가 7만 3천 토큰입니다. 16fps로 16초 영상을 만들고 오디오가 동기화된다고 밝힙니다. 텍스트에서 영상 합성만이 아니라 개인화와 편집, 오디오 생성까지 묶은 구성이라 파이프라인 설계를 볼 때 참고가 됩니다.

HunyuanVideo: A Systematic Framework For Large Video Generative Models

arxiv.org/abs/2412.03603 — 2024-12-03 등록, v6는 2025-03-11.

약 130억 파라미터의 개방 모델입니다. 이 리포트의 가치는 모델보다 프레임워크 서술에 있습니다. 데이터 큐레이션, 아키텍처, 확장 가능한 학습, 전용 인프라를 한 문서에 담았습니다. 저자들이 밝힌 문제의식은 선도적인 비디오 생성 모델들이 여전히 비공개라는 점입니다.

LTX-Video: Realtime Video Latent Diffusion

arxiv.org/abs/2501.00103 — 2024-12-30 등록.

속도를 1급 목표로 놓은 리포트입니다. H100 한 장에서 768x512 해상도 24fps 5초 영상을 2초 만에 만든다고 보고합니다. 비디오 VAE의 압축비가 1대 192로, 토큰당 32x32x8 픽셀을 담습니다. 그리고 이 리포트는 자신의 한계를 초록에서 직접 말합니다. 높은 압축은 본질적으로 미세한 디테일 표현을 제한한다는 것입니다. 그 보완으로 VAE 디코더가 픽셀 공간에서 마지막 디노이징을 수행합니다.

Wan: Open and Advanced Large-Scale Video Generative Models

arxiv.org/abs/2503.20314 — Team Wan, 2025-03-26 등록, v2는 2025-04-19.

1.3B와 14B 두 크기를 내놓고 텍스트에서 영상, 이미지에서 영상, 편집, 개인화까지 다룹니다. 실무자에게 가장 중요한 문장은 성능이 아니라 1.3B 모델이 VRAM 8.19GB만 요구한다는 부분입니다. 소비자용 GPU에서 돌아가는지 여부는 실험 사이클 속도를 통째로 바꿉니다.

Seedance 1.0: Exploring the Boundaries of Video Generation Models

arxiv.org/abs/2506.09113 — 2025-06-10 등록, v2는 2025-06-28.

멀티샷 생성을 학습 단계에서 기본으로 지원하고, 텍스트에서 영상과 이미지에서 영상을 함께 학습합니다. 증류와 시스템 최적화로 추론을 약 10배 가속했다고 보고하며, NVIDIA L20에서 1080p 5초 영상을 41.4초에 만든다고 밝힙니다.

Seedance 2.0: Advancing Video Generation for World Complexity

arxiv.org/abs/2604.14148 — Team Seedance, 2026-04-15 등록.

후속 리포트는 오디오와 영상을 함께 만드는 쪽으로 갑니다. 텍스트, 이미지, 오디오, 영상 네 가지를 입력으로 받고, 참조 입력은 영상 3개, 이미지 9개, 오디오 3개까지 지원합니다. 산출은 4초에서 15초, 네이티브 해상도 480p와 720p입니다. 이 숫자들은 자랑이 아니라 현재 경계선이고, 그래서 읽을 가치가 있습니다.

Qwen2.5-VL Technical Report

arxiv.org/abs/2502.13923 — 2025-02-19 등록.

이해 쪽 첫 항목입니다. 동적 해상도 처리와 절대 시간 인코딩으로 몇 시간 단위 영상에서 초 단위 사건 위치 파악을 한다고 밝힙니다. 윈도 어텐션을 쓰는 네이티브 동적 해상도 ViT로 연산 비용을 관리합니다.

VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding

arxiv.org/abs/2501.13106 — 2025-01-22 등록, v4는 2025-06-03.

방향이 반대라 흥미롭습니다. 방대한 영상 데이터보다 고품질 이미지-텍스트 데이터를 앞세우는 비전 중심 접근입니다. 이미지 내용에 따라 가변 길이 토큰을 만들고, 영상에는 유사도 기반 토큰 축소를 적용합니다.

HY-Himmel Technical Report

arxiv.org/abs/2605.08158 — 2026-05-04 등록.

긴 영상의 세 가지 문제, 즉 디코딩 비용과 늘어나는 토큰 수와 부족한 움직임 인식을 함께 다룹니다. 희소한 앵커 I 프레임만 비전 트랜스포머에 넣고, 압축 도메인에서 동작하는 경량 3스트림 어댑터로 움직임 정보를 뽑습니다. Video-MME에서 61.2에서 63.5로 오르면서 컨텍스트 토큰을 약 3.6배 줄였다고 보고합니다.

저자들이 스스로 밝힌 한계

LTX-Video는 높은 압축이 미세 디테일 표현을 본질적으로 제한한다고 초록에서 직접 인정합니다. 압축비를 성능 지표로만 읽으면 안 됩니다.
Seedance 2.0이 명시한 길이와 해상도, 참조 입력 개수는 현재 시스템의 상한선입니다.
VBench 저자들은 기존 자동 지표가 사람의 지각과 완전히 일치하지 않는다는 점을 문제로 인정합니다(arxiv.org/abs/2311.17982).
HY-Himmel은 관찰된 개선이 3스트림 전체에 의존한다고 밝힙니다. 일부만 떼어 쓰면 같은 결과가 나오지 않습니다.
위 리포트의 성능 서술은 모두 저자 자체 측정이며, 상당수는 자체 구성한 내부 벤치마크를 포함합니다.

실무자는 무엇부터 읽어야 하나

로컬에서 실험 사이클을 돌리는 게 우선이라면 Wan의 1.3B 요구 사양과 LTX-Video의 속도 설계를 먼저 보세요.

파이프라인 전체를 설계해야 한다면 HunyuanVideo와 Movie Gen입니다. 데이터 큐레이션부터 인프라까지 한 문서에서 볼 수 있는 흔치 않은 자료입니다.

평가 체계를 세워야 한다면 VBench가 출발점입니다. 16개 차원으로 쪼개 놓은 구조 자체가 무엇을 측정할지 정하는 데 도움이 됩니다.

긴 영상을 이해해야 한다면 Qwen2.5-VL과 HY-Himmel을 붙여 읽으세요. 전자는 시간 인코딩으로, 후자는 토큰 예산으로 같은 벽을 넘습니다.

확인 방법과 시점

이 글의 열 편은 모두 2026-08-12에 arXiv 초록 페이지를 직접 열어 확인했습니다. 열지 못한 후보는 인용하지 않았습니다. 인용한 사양과 수치는 전부 저자 보고입니다.

직접 해보기

ML 학습 데이터 탐색기 — 비디오 생성 모델이 어떤 형태의 학습 데이터를 쓰는지 예시로 볼 수 있습니다.
신경망 구조 탐색기 — 확산 트랜스포머 이야기를 따라가려면 트랜스포머 블록 구조가 손에 잡혀 있어야 편합니다.

시리즈 이전 편: OCR·문서 이해 기술 리포트, 무엇을 읽을 것인가

시리즈 다음 편: 음성 인식·합성 기술 리포트, 무엇을 읽을 것인가

참고 자료

VBench: Comprehensive Benchmark Suite for Video Generative Models (arXiv 2311.17982): arxiv.org/abs/2311.17982
CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer (arXiv 2408.06072): arxiv.org/abs/2408.06072
Movie Gen: A Cast of Media Foundation Models (arXiv 2410.13720): arxiv.org/abs/2410.13720
HunyuanVideo: A Systematic Framework For Large Video Generative Models (arXiv 2412.03603): arxiv.org/abs/2412.03603
LTX-Video: Realtime Video Latent Diffusion (arXiv 2501.00103): arxiv.org/abs/2501.00103
VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding (arXiv 2501.13106): arxiv.org/abs/2501.13106
Qwen2.5-VL Technical Report (arXiv 2502.13923): arxiv.org/abs/2502.13923
Wan: Open and Advanced Large-Scale Video Generative Models (arXiv 2503.20314): arxiv.org/abs/2503.20314
Seedance 1.0: Exploring the Boundaries of Video Generation Models (arXiv 2506.09113): arxiv.org/abs/2506.09113
HY-Himmel Technical Report (arXiv 2605.08158): arxiv.org/abs/2605.08158
Seedance 2.0: Advancing Video Generation for World Complexity (arXiv 2604.14148): arxiv.org/abs/2604.14148