SOTA 音乐·音频生成分析 — 神经编解码器与生成模型

引言 — 声音生成的独特难题
音频表示: 该建模什么
自回归音频语言模型
- 思路
- MusicGen 系列
基于扩散的音频
文本-音乐条件化
商用与研究(以概念为中心)
比较表: 按方法整理
整体流水线示意图
评估
著作权与伦理争议
优点
局限与未解决的问题
实务上的启示
结语
参考资料

引言 — 声音生成的独特难题

在文本、图像、视频生成日趋成熟的同时，音频与音乐生成也在快速发展。音频有其独特的挑战。它是由每秒数万个采样点组成的长序列，而人耳对细微的失真也很敏感。本文从音频表示方式出发，经神经编解码器、自回归音频语言模型，一直到基于扩散的音频，以谱系为中心梳理 SOTA 音乐·音频生成的共通原理。

这个领域也在快速变化。以下内容以广为人知的概念·论文·架构系列为基准，不对特定商用模型的具体规格或排名做断言。

音频表示: 该建模什么

音频生成的第一个问题是"该预测什么"。表示方式不同，模型结构也会大不相同。

波形(waveform)

最原始的表示是随时间变化的振幅值序列，即波形。以 44.1kHz 音频为例，1 秒内有 44100 个采样点。直接预测波形的方式质量上限高，但序列极长，建模困难。

波形: 时间 -->  ...-0.2, 0.1, 0.4, 0.3, -0.1, -0.5...  (每秒数万个采样点)

频谱图(spectrogram)

将波形切分为短片段并转换为频率成分的表示方式。因为可以像时间-频率二维图像那样处理，容易借用图像生成技法。不过需要一个把频谱图还原回波形的步骤(声码器)。

频谱图: 纵轴=频率, 横轴=时间, 值=强度 (当作图像处理)
        --> [声码器] --> 波形

神经编解码器(neural codec)

近期 SOTA 的核心是神经编解码器。它是把音频压缩为少量离散 token(discrete token)序列的神经网络。代表性的有 SoundStream 和 EnCodec 系列。

核心是 残差向量量化(residual vector quantization, RVQ)。将音频通过多阶段码本做分层量化，用较短的 token 序列也能装下较高的音质。

[波形] --编码器--> [连续表示] --RVQ 量化--> [离散 token 序列]
                                                     |
[波形] <--解码器-- [连续表示] <--反量化-- [离散 token 序列]

RVQ 层级:
 第1阶段码本 --> 残差 --> 第2阶段码本 --> 残差 --> ... (精度累积)

神经编解码器的离散 token 非常适合语言模型处理。因为可以像预测文本 token 一样预测音频 token。这座桥梁推动了音频语言模型的兴起。

自回归音频语言模型

思路

一旦把音频转换为离散 token，就可以像语言模型一样用"下一个 token 预测"来生成音频。AudioLM 系列提出了这一方法。它像语言模型一样把音频 token 自回归地拼接起来，生成自然的声音。

AudioLM 系列常常同时使用两种 token。语义(semantic)token 承载长期结构与内容，声学(acoustic)token 承载细腻的音色·音质。这是一种先确定大体结构、再填充细节声学的分层生成方式。

[语义 token 预测] --> 曲目的大体走向/结构
        |
[声学 token 预测] --> 细腻的音色/质感 (神经编解码器 token)
        |
   [编解码器解码器] --> 波形

MusicGen 系列

MusicGen(arXiv 2306.05284)是用单一 Transformer 语言模型处理文本条件音乐生成的代表案例。它在 EnCodec 编解码器 token 之上做自回归生成，同时采用一种高效排布多个 RVQ 层 token 的方式(码本交织，codebook interleaving)。它以文本描述或旋律为条件生成音乐。

[文本提示] --文本编码器--> [条件嵌入]
                                        |
[编解码器 token 序列] --自回归 Transformer--> [下一个编解码器 token 预测]
                                        |
                                  [EnCodec 解码器] --> 音乐波形

自回归方式的优点是可以直接复用语言模型的基础设施。缺点是 token 需要逐个顺序生成，在长音频上可能较慢。

基于扩散的音频

另一条主线是扩散模型。像图像扩散一样，向音频(主要是频谱图或潜在表示)混入噪声，再把它还原回来的方式进行生成。

频谱图扩散: 在时间-频率表示之上进行扩散，用声码器还原波形。
潜在音频扩散: 先把音频压缩到潜在空间，再在其上进行扩散。这与图像的潜在扩散是同一种思路。

[纯噪声] --> [扩散骨干网络: U-Net 或 DiT] --反复去噪--> [音频潜在表示/频谱图]
                                                                        |
                                                          [解码器/声码器] --> 波形

扩散方式的优点是并行地对整体进行细化，因此不像自回归那样有明显的顺序瓶颈。最近在音频领域也出现了使用 flow matching / rectified flow 系列的趋势。自回归与扩散并非互斥，会根据情况混合或选用。

文本-音乐条件化

要用文本控制音乐，需要把文本描述嵌入并注入到生成过程中。原理与图像·视频相同。

文本编码器: 用 T5 系列等模型把提示词("轻柔的 lo-fi hip hop，雨夜的氛围")嵌入。
注入方式: 在自回归模型中，作为条件 token 前置或通过交叉注意力注入；在扩散模型中，通过交叉注意力注入。
附加条件: 可以把旋律、和弦进行、节奏、参考音频等作为条件给出。这大幅提升了音乐上的可控性。

[文本/旋律条件] --> [条件嵌入]
                             |
[生成骨干网络(AR 或扩散)] <-- 条件注入
                             |
                    [编解码器/声码器] --> 音乐

商用与研究(以概念为中心)

在研究方面，AudioLM、MusicGen、EnCodec、SoundStream 等为公开的思路奠定了基础。在商用方面，据了解存在 Suno、Udio 这类服务，据评价它们在歌曲(含人声)生成上展现出令人印象深刻的质量。不过由于商用模型的内部结构大多未公开，本文只讨论已公开的架构系列的原理。

共通观察到的方向如下。(1)用神经编解码器把音频做离散 token 化，(2)用自回归或扩散生成 token/潜在表示，(3)以文本·旋律为条件，(4)用编解码器解码器或声码器还原波形。具体性能与排名会因提示词·风格·评估方式而有很大差异，因此这里不做断言。

比较表: 按方法整理

维度	自回归音频 LM	基于扩散的音频
表示	编解码器离散 token	频谱图/潜在表示
生成方式	下一个 token 预测(顺序)	反复去噪(并行)
代表系列	AudioLM, MusicGen	频谱图/潜在扩散
强项	复用语言模型基础设施	缓解顺序瓶颈
弱项	长音频可能较慢	依赖声码器/解码器质量
条件化	条件 token/交叉注意力	交叉注意力

表中数值是各系列的一般性倾向，可能与具体模型配置不同。

整体流水线示意图

[文本提示] (+ 旋律/参考音频)
        |
 [文本编码器]
        |
 [条件嵌入] ---------------------+
                                    |
 [生成骨干网络]                     |
   - 自回归: 编解码器 token 顺序预测 <--+
   - 或扩散: 潜在表示/频谱图去噪
        |
 [神经编解码器解码器 / 声码器]
        |
   [最终音频波形]

评估

音频生成的评估主观性很强。

自动指标: 会用到音频质量指标(例如 FAD 系列)和文本-音频对齐度指标(例如基于 CLAP 的相似度)等，但它们无法完全捕捉音乐上的吸引力或情感。
人工评估: 实际中，听感偏好比较最受信赖。不过成本高，且掺入个人偏好。
注意事项: 排名会因风格·提示词·长度·评估方式而变化。相比断言"什么是最好的"，更需要明示条件的比较。

著作权与伦理争议

音乐·音频生成在著作权与伦理方面的争议尤为尖锐。

训练数据来源: 训练中是否使用了受著作权保护的音源、是否模仿了风格·声音，是核心争议点。
声音·艺人模仿: 复制特定歌手声音的问题，与肖像权·公开权(publicity right)相互纠缠。
抄袭·相似性: 需要管理生成结果与既有曲目过度相似的风险。
透明性: 关于标示"这是生成音频"或加水印的讨论正在进行中。

除了技术性能之外，这些争议本身就是商用化的核心制约因素，也是社会讨论的对象。

优点

可及性: 仅凭文本就能快速生成音乐·音效·音频。
模块化: 编解码器、生成骨干网络、声码器彼此分离，便于替换·改进各个部件。
可控性提升: 借助旋律·和弦·参考音频条件，音乐上的控制成为可能。
效率化: 得益于神经编解码器的离散 token 化，长音频也变得更易处理。

局限与未解决的问题

长期结构: 整首曲目一致的结构(前奏-展开-副歌等)依然困难。
细微音质: 人耳对细微失真敏感，伪影很容易暴露出来。
缺乏评估标准: 缺少能量化音乐吸引力的可信指标。
著作权·伦理: 前面提到的数据·模仿·透明性争议仍大量存在。
控制精度: 精确指定特定乐器·节拍·情感的控制能力仍在发展中。

实务上的启示

快速原型阶段非常强大，但商用时必须做著作权·许可审查。
若需要精细控制，最好一并给出旋律·和弦等结构性条件。
自回归与扩散各有场景相关的权衡，建议在目标用途上直接做对比更为稳妥。

结语

音乐·音频生成 SOTA 的共通基础可以概括为"神经编解码器 token 化 + 自回归或扩散生成 + 文本·旋律条件化"。EnCodec/SoundStream 架起了表示层面的桥梁，AudioLM/MusicGen 开启了语言模型式的生成，扩散系列则提出了并行的替代方案。商用服务的排名与细节会快速变化，但理解了这些原理，就能迅速把握新模型的结构。