動画生成・理解の技術レポート、何を読むか — デモではなく制約を読む

はじめに
本記事が優劣をつけない理由
動画でいま実際に争われていること
読む価値のある技術レポート10本
著者が自ら述べている限界
実務者は何から読むべきか
確認の方法と時点
自分で試す
参考資料

はじめに

シリーズ第3回は動画です。レポートと実際の使用感の落差がこれほど大きい領域も珍しいでしょう。デモ映像はいつも良く見えますが、自分で回すと長さの制限、解像度の制限、待ち時間に先にぶつかります。

そこで本記事はデモではなく制約を読みます。アブストラクトに書かれた秒数、フレームレート、解像度、必要なVRAM、トークン予算が、そのモデルで何を作れるかを決めます。

論文情報は2026-08-12に原文で直接確認しました。この分野は速く変わるため、最新の状態はご自身で確認してください。

本記事が優劣をつけない理由

動画生成は自動指標が人の判断と最も噛み合わない領域です。後で紹介するVBenchの著者らも、既存の指標が人の知覚と完全には一致しないという問題意識から出発します。加えてレポートごとにプロンプト集合も評価者構成も違うため、レポート間のスコア比較はそもそも成立しにくいのです。

したがって本記事はどのモデルが優れているとは書きません。各レポートが何を可能にし、その代わりに何を手放したかだけを整理します。

動画でいま実際に争われていること

[動画レポートの制約軸]
 長さ       : 一度に何秒作れるか
 圧縮       : VAEの圧縮比がディテールと速度を同時に決める
 時間軸     : フレーム間の一貫性とカメラ移動
 理解       : 長い映像を何個のトークンで表すか
 到達可能性 : 民生用GPUで動くか

生成側のレポートはおおむね上の三行を、理解側は四行目を握ります。五行目が一級の目標に上がったのは最近のことです。

読む価値のある技術レポート10本

CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer

arxiv.org/abs/2408.06072 — 2024-08-12登録、v3は2025-03-26。

アブストラクトが示す出力仕様は明快です。プロンプトに整合した10秒の連続映像、16fps、768x1360解像度。空間と時間をまとめて圧縮する3D VAEと、テキストと映像の整合のための適応的LayerNormを備えたエキスパートトランスフォーマーが核心です。著者らは前世代の問題を、動きの乏しさと短い尺だと規定して出発します。

Movie Gen: A Cast of Media Foundation Models

arxiv.org/abs/2410.13720 — Meta、2024-10-17登録、v2は2025-02-26。

最大のモデルは300億パラメータで、トランスフォーマーの文脈長は7万3千トークンです。16fpsで16秒の映像を作り、音声が同期すると述べます。テキストからの映像合成だけでなく個人化と編集、音声生成まで束ねた構成なので、モデル選びよりパイプライン設計を考えるときに役立ちます。

HunyuanVideo: A Systematic Framework For Large Video Generative Models

arxiv.org/abs/2412.03603 — 2024-12-03登録、v6は2025-03-11。

約130億パラメータのオープンモデルです。このレポートの価値はモデルよりフレームワークの記述にあります。データキュレーション、アーキテクチャ、スケーラブルな学習、専用インフラを一つの文書に収めています。著者らが述べる動機は、先行する動画生成モデルが依然として非公開だという点です。

LTX-Video: Realtime Video Latent Diffusion

arxiv.org/abs/2501.00103 — 2024-12-30登録。

速度を一級の目標に置いたレポートです。H100一枚で768x512解像度24fpsの5秒映像を2秒で作ると報告します。動画VAEの圧縮比は1対192で、1トークンに32x32x8ピクセルを収めます。そしてこのレポートは自らの限界をアブストラクトで直接述べます。 高い圧縮は本質的に細部の表現を制限する という点です。その補いとして、VAEデコーダがピクセル空間で最後のデノイジングを行います。

Wan: Open and Advanced Large-Scale Video Generative Models

arxiv.org/abs/2503.20314 — Team Wan、2025-03-26登録、v2は2025-04-19。

1.3Bと14Bの二サイズを出し、テキストから映像、画像から映像、編集、個人化までを扱います。実務者にとって最も重要な一文は品質の話ではありません。1.3Bモデルが必要とするVRAMが8.19GBだという点です。民生用GPUで動くかどうかは実験サイクル全体を変えます。

Seedance 1.0: Exploring the Boundaries of Video Generation Models

arxiv.org/abs/2506.09113 — 2025-06-10登録、v2は2025-06-28。

マルチショット生成を学習段階から標準で支え、テキストから映像と画像から映像を同時に学習します。蒸留とシステム最適化で推論を約10倍高速化したと報告し、NVIDIA L20で1080pの5秒映像を41.4秒で作ると述べます。

Seedance 2.0: Advancing Video Generation for World Complexity

arxiv.org/abs/2604.14148 — Team Seedance、2026-04-15登録。

後継レポートは音声と映像を同時に作る方向へ進みます。テキスト、画像、音声、映像の四つを入力として受け取り、参照入力は映像3本、画像9枚、音声3本まで対応します。出力は4秒から15秒、ネイティブ解像度は480pと720pです。これらの数字は自慢ではなく現在の境界線であり、だからこそ読む価値があります。

Qwen2.5-VL Technical Report

arxiv.org/abs/2502.13923 — 2025-02-19登録。

理解側の最初の項目です。動的解像度処理と絶対時間エンコーディングにより、数時間規模の映像で秒単位の事象位置特定を行うと述べます。ウィンドウアテンションを用いるネイティブ動的解像度ViTで計算費用を抑えます。

VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding

arxiv.org/abs/2501.13106 — 2025-01-22登録、v4は2025-06-03。

方向が逆なので面白い一本です。膨大な動画データより高品質な画像テキストデータを前に置く、視覚中心のアプローチです。画像内容に応じて可変長のトークン表現を作り、動画には類似度に基づくトークン削減を適用します。

HY-Himmel Technical Report

arxiv.org/abs/2605.08158 — 2026-05-04登録。

長い映像の三つの問題、すなわちデコード費用と増え続けるトークン数と弱い動き認識をまとめて扱います。疎なアンカーIフレームだけをビジョントランスフォーマーに通し、圧縮ドメインで動く軽量な三ストリームアダプタで動き情報を取り出します。Video-MMEで61.2から63.5へ上がりつつ、文脈トークンを約3.6倍削減したと報告します。

著者が自ら述べている限界

LTX-Videoは、高い圧縮が細部の表現を本質的に制限するとアブストラクトで直接認めています。圧縮比を性能指標としてだけ読むのは誤りです。
Seedance 2.0が明示する長さと解像度、参照入力の本数は、そのシステムの現在の上限です。
VBenchの著者らは、既存の自動指標が人の知覚と完全には一致しない点を問題として認めています(arxiv.org/abs/2311.17982)。
HY-Himmelは、観測された改善が三ストリーム全体に依存すると述べます。一部だけ切り出しても同じ結果にはなりません。
上記の性能記述はすべて著者の自己測定であり、いくつかは自前で構成した内部ベンチマークを含みます。

実務者は何から読むべきか

ローカルで実験サイクルを回すことが先なら、Wanの1.3B要求仕様とLTX-Videoの速度設計をまず見てください。

パイプライン全体を設計する必要があるなら、HunyuanVideoとMovie Genです。データキュレーションからインフラまで一つの文書で追える資料は稀です。

評価の仕組みを作る必要があるなら、VBenchが出発点です。品質を16の次元へ分解した構造そのものが、何を測るかを決めるのに役立ちます。

長い映像を理解する仕事なら、Qwen2.5-VLとHY-Himmelを並べて読んでください。前者は時間エンコーディングで、後者はトークン予算で同じ壁を越えます。

確認の方法と時点

本記事の10本はすべて、2026-08-12にarXivのアブストラクトページを直接開いて確認しました。開けなかった候補は引用していません。引用した仕様と数値はすべて著者報告です。

自分で試す

ML学習データエクスプローラー — 動画生成モデルがどんな学習データを使うかを例で見られます。
ニューラルネットワーク構造エクスプローラー — 拡散トランスフォーマーの話を追うには、トランスフォーマーブロックの構造が手に入っていると楽です。

シリーズ前回: OCR・文書理解の技術レポート、何を読むか

シリーズ次回: 音声認識・合成の技術レポート、何を読むか

参考資料

VBench: Comprehensive Benchmark Suite for Video Generative Models (arXiv 2311.17982): arxiv.org/abs/2311.17982
CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer (arXiv 2408.06072): arxiv.org/abs/2408.06072
Movie Gen: A Cast of Media Foundation Models (arXiv 2410.13720): arxiv.org/abs/2410.13720
HunyuanVideo: A Systematic Framework For Large Video Generative Models (arXiv 2412.03603): arxiv.org/abs/2412.03603
LTX-Video: Realtime Video Latent Diffusion (arXiv 2501.00103): arxiv.org/abs/2501.00103
VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding (arXiv 2501.13106): arxiv.org/abs/2501.13106
Qwen2.5-VL Technical Report (arXiv 2502.13923): arxiv.org/abs/2502.13923
Wan: Open and Advanced Large-Scale Video Generative Models (arXiv 2503.20314): arxiv.org/abs/2503.20314
Seedance 1.0: Exploring the Boundaries of Video Generation Models (arXiv 2506.09113): arxiv.org/abs/2506.09113
HY-Himmel Technical Report (arXiv 2605.08158): arxiv.org/abs/2605.08158
Seedance 2.0: Advancing Video Generation for World Complexity (arXiv 2604.14148): arxiv.org/abs/2604.14148