필사 모드: 打造 3D 的两条路径 — 重建(NeRF・高斯泼溅)与生成(TRELLIS・Hunyuan3D)

• 引言 — "制作 3D"是两个不同的问题
• 第一部分 — 重建: 从照片到 3D
  • 谱系: SfM → NeRF → 高斯泼溅
  • 为什么 3D 高斯泼溅改变了格局
  • 前馈式重建 — 不再为每个场景单独训练
• 第二部分 — 生成: 从文字・图像到 3D
  • 谱系: SDS 蒸馏 → 原生 3D 扩散
  • 2026 年的版图
• 第三部分 — 表现方式与输出格式
• 第四部分 — 实战流水线
• 第五部分 — 工程师的入门路径
• 结语
• 参考资料

引言 — "制作 3D"是两个不同的问题

"帮我做一个 3D 模型"这一句话里,其实混杂着两个完全不同的请求。

• 重建(Reconstruction): 把真实存在的物体或空间,从多张照片(或视频)中复原为 3D。文物扫描、房地产 3D 看房、机器人的空间感知都属于这一类。标准答案就在现实之中,目标是忠实地将其再现。
• 生成(Generation): 从一行文字或一张图像里,凭空造出并不存在的东西。游戏资产、产品概念、虚拟形象都属于这一类。没有标准答案,目标是创造出足够可信、足够实用的东西。

这两者用的技术、评判的标准都不相同。本文将分别沿着这两条谱系走一遍,帮你确定"现在站在哪里"的坐标。如果你对图像・视觉模型的基础感兴趣,不妨搭配神经网络架构探索器一起阅读。

第一部分 — 重建: 从照片到 3D

谱系: SfM → NeRF → 高斯泼溅

Structure-from-Motion (SfM)   从多张照片中复原相机位置 + 稀疏点云 (COLMAP)
  │                            — 经典几何学。至今仍是相机位姿估计的必要前处理
  ▼
NeRF (2020)                    把场景"隐式地"存入神经网络(MLP) —
  │                            输入坐标即可吐出颜色・密度的函数。通过体渲染合成新视角
  ▼
3D Gaussian Splatting (2023)   把场景以数百万个"高斯团"进行"显式"存储 —
                               通过光栅化实时渲染。改变 NeRF 格局的转折点

SfM(Structure-from-Motion) 是深度学习出现之前就有的经典方法。它在有重叠的照片之间匹配特征点,复原出相机的拍摄位置以及稀疏的 3D 点云。COLMAP 已是事实标准,下文的 NeRF・高斯泼溅大多也会先把 SfM 当作前处理,用来估计相机位姿。

NeRF(Neural Radiance Fields, 2020) 的想法是把整个场景塞进一个神经网络里。为每个场景训练一个小型 MLP,用来回答"从这个方向看空间中的这一坐标,是什么颜色、有多不透明",再沿光线积分(体渲染)生成新视角的图像。效果惊艳,但代价也不小 — 训练要几小时到几天,渲染也很慢。

为什么 3D 高斯泼溅改变了格局

3D Gaussian Splatting(3DGS, 2023) 颠覆了表现方式。它不再把场景隐式塞进神经网络,而是用具备位置・大小・颜色・不透明度的数百万个高斯(3D 椭球团) 来显式表示场景,再把这些"团"投影(splatting)到画面上,通过光栅化绘制。思路的方向也是反过来的 — NeRF 是从 2D 图像反推 3D,而 3DGS 是从 3D 点出发生成 2D 图像。

结果是戏剧性的: 60+ FPS 的实时渲染,训练不再需要几小时,而是以分钟计,伪影也更少。像 gsplat 这样的库正是这一速度的支撑。不过 3DGS 并没有完全取代 NeRF — 需要精确几何时,SDF 系仍占优势;反射・透明这类依赖视角的效果,NeRF 系依然更强。EGGS(改进几何精度)、EVolSplat4D(动态城市场景)等变体不断涌现,实际工作大多是混合方案。

前馈式重建 — 不再为每个场景单独训练

无论 NeRF 还是 3DGS,本质上都要针对每个场景各优化一次。2026 年的趋势是去掉这种"逐场景训练"。Meta 的 MapAnything(1B 参数,2026 年 1 月,被 3DV 2026 收录)用一个统一的 Transformer,通过一次前向传播(feedforward) 处理 12 种以上的 3D 重建任务。输入照片,不需要优化循环就能立刻得到 3D — 这正是机器人・AR 一直渴求的"实时空间感知"的方向。

第二部分 — 生成: 从文字・图像到 3D

谱系: SDS 蒸馏 → 原生 3D 扩散

DreamFusion (2022)         把 2D 扩散(图像生成器)的知识"蒸馏"到 3D (SDS) —
  │                        没有 3D 数据也能文本→3D。速度慢,结果模糊
  ▼
原生 3D 扩散                 在 3D 表示(体素・三平面・结构化潜变量)上直接训练扩散模型
  │                        — 用 3D 数据集训练。速度快、结果一致
  ▼
TRELLIS · Hunyuan3D (2025~) rectified flow + 2阶段(几何→纹理) —
                           数十秒内生成可用于游戏的 PBR 资产

早期的 DreamFusion(2022) 是一条聪明的迂回路。当时还没有大规模 3D 数据,于是用 SDS(Score Distillation Sampling),把已经很强大的2D 图像扩散模型的知识蒸馏到 3D。这是一种不需要 3D 数据、仅凭文本就能拉出 3D 的魔法般的方法,但优化速度慢、结果模糊,还饱受"雅努斯问题"(无论从哪个角度看都像正面的错误)之苦。

如今的主流是原生 3D 扩散 — 直接在体素・三平面(triplane)・结构化潜变量(structured latent)这类 3D 表示之上训练扩散模型。因为是用 3D 数据集训练的,所以速度快、多视角一致性也好。最新模型共通的做法是两阶段生成: 先生成几何(形状),再在其上贴上外观(纹理)。

2026 年的版图

从图像・文本拉出 3D 的代表性模型(以 HuggingFace 为准):

模型                 优势                          特点
──────────────────  ───────────────────────────  ──────────────────────────────
TRELLIS.2 (4B)       生产级 PBR 资产                rectified flow DiT,1536³ 分辨率,
                                                    4K 纹理,复杂拓扑・透明材质
Hunyuan3D 3.5        高质量纹理                    基于 flow,60 秒以内,最高 8K PBR
Hi3DGen              最佳几何质量                  以形状精度为核心
Stable Fast 3D       速度 (1 秒以内)                适合实时预览・大批量生成

TRELLIS.2(4B 参数 DiT)采用两阶段流水线 — 先用 rectified flow 捕捉稀疏结构,再解码为结构化潜变量,能以 1536³ 分辨率、4K 纹理产出生产级资产。腾讯的 Hunyuan3D 在 2.1 版本中约 10 秒就能拉出 PBR、可直接用于游戏的资产,到 3.5 版本更进一步做到 60 秒以内・最高 8K PBR 纹理。Hi3DGen 主攻几何精度,Stable Fast 3D 主攻 1 秒以内的速度,各自攻占不同的轴线。挑选标准很简单 — 游戏/产品用途看重 PBR 质量(TRELLIS.2・Hunyuan3D),大批量预览看重速度(Stable Fast 3D)。

第三部分 — 表现方式与输出格式

3D 由"用什么来表现"直接决定了用途。

表现            是什么                          用在哪里
─────────────  ─────────────────────────────  ──────────────────────────────
点云            带有位置+颜色的点               SfM 结果、激光雷达、中间产物
网格(Mesh)      顶点+面(三角形)                游戏・电影 — DCC 工具标准。UV+PBR 纹理
高斯            位置+协方差+颜色+不透明度        实时视角合成(3DGS)。还不是网格
隐式场          坐标→数值的函数(SDF/NeRF)       精确几何・光滑表面

流水线现实的目标大多是贴好 PBR 纹理的网格 — 因为这是游戏引擎(Unity・Unreal)和 3D 制作工具(Blender)都能吃下的标准。PBR(Physically Based Rendering)用反照率(albedo)・粗糙度(roughness)・金属度(metallic)・法线贴图来描述材质的物理属性,使其在任何光照下都显得真实。这也是最新生成模型的卖点是"可直接用于游戏的 PBR"的原因 — 高斯或 NeRF 看起来固然出色,但还不是网格,要放进游戏里还需要再多一步转换为网格的工序。

第四部分 — 实战流水线

重建(把我的物品变成 3D):

① 拍摄        让物体多角度重叠地拍摄(视频也可以)。留意抖动・对焦
② 位姿估计    用 COLMAP 得到相机位置 + 稀疏点云 (SfM)
③ 训练        在 Nerfstudio 中选择 gsplat(3DGS)或 NeRF 方式 — 分钟到小时
④ 渲染/提取   在实时查看器中确认,需要的话再提取为网格

Nerfstudio 是同时支持 NeRF 与 3DGS、使用最广泛的开源框架,能让你在同一个 CLI 里实验多种变体。作为起点,再没有比它更合适的了。

生成(从无到 3D): 你可以自己跑 HuggingFace 上的开源模型(TRELLIS、Hunyuan3D),也可以把一张图像丢给商用 API(Meshy、Rodin、3DAI Studio 等),数十秒内就能拿到网格+PBR。数据准备的感觉与LLM 数据预处理篇是相通的 — 3D 生成模型最终也要靠 Objaverse 这类大规模 3D 数据集的清洗质量来决定结果好坏。

第五部分 — 工程师的入门路径

"3D 只是图形学专业的领域"这种认知已经过时了。VLA 机器人(机器人企业地图篇)要理解空间就需要重建,内容流水线则想要生成 — 这两边现在都缺人。现实可行的三步:

1. 做一次高斯泼溅 — 用手机把一件物体绕拍一圈,在 Nerfstudio 里跑一遍 3DGS。"我桌上的东西在 3D 里转动"这种体验,能帮你抓住全局。
2. 跑一次生成模型 — 把一张图像丢进 TRELLIS 或 Hunyuan3D,拉出网格后在 Blender 里打开看看。输出格式・PBR 的手感就会上手。
3. 读两篇论文 — 3D Gaussian Splatting 原始论文(重建)与 TRELLIS(生成)。有这两篇打底,眼下这片版图的坐标系就立住了。

对已经在做 ML 的工程师来说,3D 与其说是"新领域",不如说是输出从图像换成了空间的又一个生成/重建问题 — 扩散模型・Transformer・数据清洗这套语法,原封不动。

结语

制作 3D 的路径有两条。让现实复活的重建,正从 SfM 经由 NeRF 走向实时的高斯泼溅,并进一步走向不再为每个场景单独训练的前馈式方法。从无到有构建的生成,已从 2D 蒸馏(DreamFusion)成熟为原生 3D 扩散,再到数十秒内拉出可直接用于游戏的 PBR 的 TRELLIS・Hunyuan3D。两条路径最终都建立在扩散模型与 Transformer 这同一套引擎之上 — 所以如果你是一直在和 LLM・图像模型打交道的工程师,你的技术已经有一半是 3D 技术了。

参考资料

• 3D Gaussian Splatting for Real-Time Radiance Field Rendering (Kerbl et al., 2023)
• NeRF: Representing Scenes as Neural Radiance Fields (Mildenhall et al., 2020)
• Nerfstudio — NeRF・高斯泼溅统一框架 · gsplat 库
• TRELLIS — Structured 3D Latents for Scalable 3D Generation (Microsoft)
• Hunyuan3D 2.1: High-Fidelity 3D Assets with Production-Ready PBR (Tencent, arXiv)
• DreamFusion: Text-to-3D using 2D Diffusion (Poole et al., 2022)
• Best Image-to-3D Models on HuggingFace (2026) · Meta MapAnything