SOTA 视频生成模型解析 — 时空扩散 Transformer

引言
视频生成的两个难题
- 时间一致性
- 计算成本
时空潜在补丁
基于 DiT 的时空扩散
条件化、长度与分辨率
- 文本条件化
- 可变长度与分辨率
后续模型系列(以概念为中心)
对比表:与图像生成的对照
物理一致性的局限
评估
完整流水线图
优势
局限与开放问题
实践含义
结语
参考资料

引言

随着图像生成步入成熟期,下一个前沿转向了视频生成。视频并不是图像的简单扩展。时间轴这个新维度的加入,带来了两个根本难题:帧与帧之间的一致性,以及急剧膨胀的计算量。本文不打算断言某个具体产品的详细规格,而是围绕最新视频生成模型共有的时空扩散 Transformer 原理来梳理。

这个领域变化非常快,商用模型的内部结构大多不公开。以下内容以公开的概念与架构系列为准,请在阅读时留意:具体排名和数值会因基准测试和版本而异。

视频生成的两个难题

时间一致性

视频是多帧的连续序列。如果每一帧都独立生成,就会出现人物脸部在帧间微妙变化、背景物体突然消失、颜色跳变等问题。好的视频模型必须在时间维度上保持身份(identity)和场景结构的一致。

坏的情况(逐帧独立生成):
第1帧: 蓝色衬衫   第2帧: 藏青色衬衫   第3帧: 紫色衬衫  (闪烁/不稳定)

好的情况(时间一致):
第1帧: 蓝色衬衫   第2帧: 蓝色衬衫   第3帧: 蓝色衬衫  (稳定持续)

计算成本

要生成的不是一张图像,而是每秒数十帧、持续数秒的视频。数据量随帧数成比例增长,再加上时间方向的注意力计算,计算量会急剧攀升。因此视频模型需要比图像模型远为激进的压缩与效率优化。

时空潜在补丁

核心思路是不直接处理像素本身,而是把视频转换为压缩后的时空潜在(spatiotemporal latent)。如果说图像潜在扩散是在空间上压缩图像,那么视频则是把空间与时间一起压缩。

首先,一个 3D 自编码器把视频编码为时空潜在张量。接着把这个潜在张量切分成时空补丁(patch),构成 token 序列。每个补丁对应「一小段时间、一小块空间」。

[原始视频: 时间 x 高度 x 宽度 x 通道]
        |
 [用 3D 自编码器做时空压缩]
        |
[时空潜在张量] --补丁切分--> [时空 token 序列]
                                   (每个 token = 时间片段 x 空间片段)

这个「时空补丁」概念,据称是由 Sora 广泛推向大众认知的。据强调,不同分辨率、长度、宽高比的视频都能统一为同一种 token 表示,这对联合训练不同格式的数据十分有利。

基于 DiT 的时空扩散

完成 token 化之后,就在这个 token 序列上运行扩散 Transformer(DiT)。其思路与图像 DiT 相同,区别在于注意力不仅覆盖空间,还要涵盖时间轴。

[时空 token 序列] + [文本条件]
              |
   [Transformer 模块 x N]
   - 空间注意力(同一时刻内的各个位置)
   - 时间注意力(同一位置的多个时刻)
   - 或统一的时空注意力
              |
   [噪声/速度预测] --> 去噪迭代
              |
   [时空潜在重建] --> [3D 解码器] --> [视频]

如何拆分注意力是一种设计选择。将空间与时间分离、交替处理(factorized)可以减少计算量;把时空绑在一起统一处理(full)则交互更丰富,但代价更高。许多模型会在效率与质量之间对这两者做折中。

训练形式化方式与图像侧一样,采用噪声预测或速度场(flow matching / rectified flow)方式。在潜在空间中执行扩散这一整体框架,与图像潜在扩散是相同的。

条件化、长度与分辨率

文本条件化

与图像模型类似,用文本编码器(CLIP、T5 系列)对提示词做嵌入,再通过交叉注意力或 joint 注意力注入。除此之外,还会用到多种条件化方式,例如以首帧图像作为条件的 image-to-video,以及以低分辨率视频作为条件的放大方式。

可变长度与分辨率

时空补丁表示的优势在于灵活性。通过调整 token 数量,同一个模型可以处理不同的长度、分辨率和宽高比。不过视频越长,token 越多,计算量也越大,因此实际中还会结合级联(先生成低分辨率再放大)或分块生成等策略。

[生成短的低分辨率视频]
        |
 [时间插值 / 帧扩展]
        |
 [空间放大(超分辨率)]
        |
 [最终高分辨率视频]

后续模型系列(以概念为中心)

在 Sora 把时空潜在补丁与大规模扩散 Transformer 这一方向广泛印刻进公众认知之后,多个商用和研究模型相继出现。据了解 Veo、Kling、Runway、Pika 等模型是存在的,它们似乎各自使用不同的训练数据和配方。不过由于大多数内部结构并未公开,这里只提及共通的架构方向。

共同观察到的方向如下:(1) 时空潜在压缩,(2) 扩散 Transformer 骨干网络,(3) 文本、图像条件化,(4) 通过级联或放大来扩展分辨率与长度。具体性能与排名会因基准测试、版本、提示词而有很大差异,因此这里避免下定论。

作为参考,关于 Sora,据传有报道提及 2026 年终止(服务停止)的相关消息。这是基于报道的信息,准确的事实关系与时间点,以官方发布为准更为稳妥。无论某个具体产品的存续与否,时空扩散 Transformer 这一架构系列本身,仍然是这个领域的共同基础。

对比表:与图像生成的对照

维度	图像生成	视频生成
压缩	空间(VAE)	时空(3D 自编码器)
Token	空间补丁	时空补丁
注意力	以空间为中心	空间 + 时间
核心难题	构图与细节	时间一致性 + 计算量
条件化	文本	文本 + 首帧等
输出扩展	超分辨率	时间插值 + 超分辨率

表中数值是该系列的一般性倾向,可能与具体模型的实际配置不同。

物理一致性的局限

视频模型常被比作「世界模拟器」,但实际上它们并不显式计算物理规律,只是从数据中学习统计模式。因此会出现以下失败情况。

因果与物理违反:破碎的玻璃重新拼合、液体体积不守恒、物体无缘无故地出现和消失。
长期一致性崩溃:视频越长,物体的身份和数量越容易漂移。摄像机转回来时场景发生了变化。
接触与刚体交互:手抓取物体那一瞬间的不自然感等细微交互,依然是难点。

这些局限源于模型的本质 — 它并非「理解」物理规律,而是生成看起来合理的像素运动。近来虽有很大改善,但完整的物理一致性仍是一个悬而未决的问题。

评估

视频生成的评估比图像更难。需要同时考察感知质量、时间一致性、提示词忠实度,以及运动的自然程度。

自动指标:同时考察帧质量与时间一致性的指标(例如 FVD 系列、VBench 这类多维度评估套件)被广泛使用,但与人类感知并不完全一致。
人工评估:实际上人类偏好比较是最受信任的方式,但成本高且主观。
注意事项:排名会因提示词集合、分辨率、长度、评估方式而有很大差异。与其断言「什么是最好的」,不如给出明确条件下的比较。

完整流水线图

[提示词文本] --(可选: 首帧图像)
        |
 [文本编码器]
        |
 [条件嵌入] ---------------------+
                                    |
[纯噪声(时空潜在)] --> [时空 DiT 骨干网络]
                                    |
                    [去噪迭代: 采样器 + CFG]
                                    |
                          [时空潜在张量]
                                    |
                              [3D 解码器]
                                    |
                    [低分辨率视频] --> [插值/超分辨率]
                                    |
                             [最终视频]

优势

统一的表示:得益于时空补丁,不同长度、分辨率、宽高比可以用同一个模型处理。
可扩展性:Transformer 骨干网络能获得大规模扩展带来的收益。
条件化的灵活性:文本、首帧、低分辨率输入等多种条件可以组合使用。
快速的质量提升:短时间内分辨率、一致性、运动质量都有了大幅提升。

局限与开放问题

计算成本:视频越长、分辨率越高,训练与推理成本就越是急剧上升。
长期一致性:从数秒延伸到数十秒时,维持身份和场景变得更加困难。
物理与因果:前面讨论的物理违反问题依然存在。
可控性:摄像机运动、精细时序、特定物体控制等精确控制,仍在发展之中。
评估与版权:缺乏可信的标准指标、训练数据来源的问题,与图像一样是重大争议点。

实践含义

从短小明确的场景开始更为稳妥。长且复合的场景更容易出现一致性崩溃。
如果需要精确控制,最好同时使用 image-to-video 或结构性条件。
与其依赖某个具体产品的存续或排名,不如理解架构系列本身的特性,并在目标用途上直接做比较,这样更为稳妥。

结语

视频生成 SOTA 的共同基础,可以概括为「时空潜在压缩 + 扩散 Transformer + 文本、图像条件化」。Sora 推向大众的时空补丁概念,已经成为后续模型事实上的标准语言。个别产品的存续与排名变化很快,但只要理解这套架构原理,即便出现新模型,也能迅速把握其结构。