Chaos and Order

💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

引言 — 人形机器人为何困难
双系统架构
- 快脑与慢脑
- 两个系统的连接
NVIDIA GR00T N1
Figure AI Helix
GR00T N1与Helix比较
深入探讨：两个系统的交接
- 用潜在表示传递意图
- 时间尺度的对齐
移动与操作的整合
- 人形机器人特有的难题
仿真与sim-to-real
- 为何需要仿真
- 域随机化
面临的课题
为什么是现在的人形机器人
重新审视认知比喻
展望
参考资料

引言 — 人形机器人为何困难

到目前为止我们看过的VLA模型，主要处理的是桌面上的单臂机械臂。人形机器人则是完全不同量级的挑战。两只手臂、两只手、头部，再加上要一边保持平衡一边行走的双腿，需要控制的自由度呈爆炸式增长。而且人形机器人是为适配人类环境(门把手、楼梯、餐具)而设计的，因此精确性和稳定性需要同时满足。

如果想用单一的整体式(monolithic)神经网络解决这种复杂性，就会陷入两难。要快速反应，模型就必须又小又轻；要聪明地推理，模型就必须又大又重。保持平衡的腿部控制需要每秒更新数百次，但理解"从冰箱里拿出饮料倒进杯子"这样的指令，并不需要这么快的频率。

作为解法被提出的，是双系统(dual-system)架构。它从人类认知中"快速直觉(System 1)与缓慢深思(System 2)"这一比喻中获得灵感，将机器人的大脑分成两部分。本文以NVIDIA GR00T N1和Figure AI Helix为中心来审视这一结构。我们会立足于已确立的事实，但由于具体规格可能因版本而异，这里只对确凿可靠的内容做一般化整理。

双系统架构

快脑与慢脑

双系统的核心思路是分工。

┌────────────────────────────────────────────────────────────┐
│            人形机器人双系统架构(概念)                        │
└────────────────────────────────────────────────────────────┘

   摄像头·语言指令
        │
        ▼
  ┌─────────────────────────┐
  │  System 2 (慢脑)         │   低频率(例如数Hz)
  │  - 视觉-语言理解          │
  │  - 场景解析·任务规划      │   "该做什么"
  │  - 语义推理               │
  └───────────┬─────────────┘
              │  潜在表示(意图·目标) ──▶
              ▼
  ┌─────────────────────────┐
  │  System 1 (快脑)         │   高频率(例如数十~数百Hz)
  │  - 低层运动控制           │
  │  - diffusion/连续动作     │   "该怎么动"
  │  - 平衡·精确操作          │
  └───────────┬─────────────┘
              ▼
       关节力矩/位置指令  ──▶  机器人执行

System 2(慢脑)：一个大型视觉-语言模型理解场景并规划要做什么。它接收自然语言指令并进行语义推理。由于体量大，运行频率相对较低。
System 1(快脑)：一个小而快的策略负责控制实际的关节。它以System 2下达的意图(潜在表示)为条件，以高频率生成平滑、连续的动作。负责需要即时反应的任务，例如维持平衡和精确抓取。

这种分离的优点很明确——可以在一个系统内同时确保聪明(缓慢但丰富的推理)与敏捷(快速但简单的反射)。

两个系统的连接

两个系统通过潜在表示(latent)连接。System 2并非以明确坐标传达"朝这个杯子伸手抓住它"这样的意图，而是以连续的潜在向量传达，System 1则以该向量为条件生成具体的关节指令。这样一来，System 2无需操心每一瞬间的细节控制，就能表达高层意图。

两个系统的时间尺度与数据流

  t(时间) ──────────────────────────────────────────▶

  System 2:   [规划]            [重新规划]          [重新规划]
              │                  │                   │
              ▼ (潜在意图)       ▼                   ▼
  System 1:   ▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮
              (快速控制步骤密集相连)

  → 缓慢的规划不断更新快速控制的"方向盘"

NVIDIA GR00T N1

GR00T N1是NVIDIA为人形机器人提出的基础模型(foundation model)，是一个开放模型。总体上遵循前面所说的双系统理念，将负责视觉-语言理解的慢模块，与基于diffusion快速生成平滑低层动作的模块结合在一起。

┌────────────────────────────────────────────────────────────┐
│                  GR00T N1(概念结构)                          │
└────────────────────────────────────────────────────────────┘

   多摄像头·语言指令
        │
        ▼
  ┌──────────────────────────┐
  │  视觉-语言模块(慢)        │  场景理解·指令解析
  └────────────┬─────────────┘
               │  潜在上下文
               ▼
  ┌──────────────────────────┐
  │  diffusion动作模块(快)    │  通过去噪生成连续动作
  └────────────┬─────────────┘
               ▼
        人形机器人关节控制

GR00T N1训练中重要的一点是数据的多样性。由于仅靠人形机器人的真实示范数据远远不够，因此采用了同时利用多种来源数据的策略。

┌────────────────────────────────────────────────────────────┐
│        结合多样数据来源的训练(概念)                          │
└────────────────────────────────────────────────────────────┘

  ┌────────────┐  ┌────────────┐  ┌────────────┐  ┌──────────┐
  │ 真实机器人  │  │ 仿真        │  │ 人类视频    │  │ 网络VL   │
  │ 示范        │  │ (合成轨迹)  │  │ (动作观测)  │  │ 数据     │
  └─────┬──────┘  └─────┬──────┘  └─────┬──────┘  └────┬─────┘
        └───────────────┴────┬─────────┴──────────────┘
                             ▼
                  ┌────────────────────┐
                  │  联合训练           │
                  │ (co-fine-tuning)    │
                  └─────────┬──────────┘
                            ▼
                  人形机器人策略(GR00T N1)

真实机器人示范：最准确，但也最昂贵。
仿真：能低成本地生成大量合成轨迹。不过缩小与现实之间的差距(sim-to-real gap)是一大课题。
人类动作视频：通过观察人类手部·身体的动作，获得丰富的行为先验知识。
网络视觉-语言数据：为语义泛化提供常识。

将这些来源各异的数据放在一起训练(co-fine-tuning)，既能弥补昂贵的真实示范数据量不足的问题，又能提升泛化能力。NVIDIA将GR00T以开放形式发布的原因之一，就是想为人形机器人研究提供一个共同基础，从而壮大整个生态系统。

Figure AI Helix

Helix是Figure AI为人形机器人提出的通用型VLA。它同样采取了结合快速控制与缓慢推理的双系统类方法。Helix强调的重点在于，广泛泛化人形机器人的上半身控制，以及即便面对此前未经训练的物体和指令，也能依据自然语言指令行动。

┌────────────────────────────────────────────────────────────┐
│                  Helix(概念流程)                             │
└────────────────────────────────────────────────────────────┘

   机载摄像头 + 语音/文本指令
        │
        ▼
  ┌──────────────────────────┐
  │  慢系统(理解·规划)        │  对场景·指令进行语义解析
  └────────────┬─────────────┘
               │  潜在意图
               ▼
  ┌──────────────────────────┐
  │  快系统(运动控制)         │  以高频率进行上半身·双手的连续控制
  └────────────┬─────────────┘
               ▼
        人形机器人上半身·双手动作

Helix类方法的意义如下：

自然语言泛化：朝着"人只需口头指示，机器人就能尝试新任务"这一方向努力。
机载运行：目标是仅用机器人自身搭载的资源进行推理，瞄准在真实家庭·工作环境中的自主运行。
上半身精确控制：致力于处理需要双手协作的任务(共同搬运物品、整理物品)。

准确的模型规模、控制频率、评估数值等具体规格，可能因公开信息和版本而异，因此这里主要围绕结构性的思路做一般化说明。

GR00T N1与Helix比较

项目	GR00T N1(NVIDIA)	Helix(Figure AI)
定位	人形机器人基础模型(倾向开放)	面向人形机器人产品的通用型VLA
共同结构	双系统(慢理解 + 快控制)	双系统(慢理解 + 快控制)
快脑	基于diffusion的连续动作	高频连续控制
训练数据	真实+仿真+人类视频+网络VL结合	以机器人示范为中心的泛化训练
侧重点	共同基础·可复现性	自然语言泛化·机载自主性

两种方法的核心是一致的——将繁重的语义理解与轻量的快速控制分离，再用潜在表示将两者顺滑地衔接起来。表中的细节可能因来源和版本而异。

深入探讨：两个系统的交接

用潜在表示传递意图

双系统的精妙之处，在于慢脑向快脑传达"想要什么"的方式。虽然也可以用明确坐标传达(例如"把手移动到(0.3, 0.1, 0.5)")，但更灵活的方法是用连续的潜在向量来表达意图。快脑以这个向量为条件，生成具体的关节指令。

┌──────────────────────────────────────────────────────────┐
│            System 2 → System 1 交接(概念)                 │
└──────────────────────────────────────────────────────────┘

  System 2(慢脑)
     │  场景理解 + 任务规划
     ▼
  ┌──────────────────┐
  │ 潜在意图向量z      │   "平滑地靠近这个杯子并抓住它"
  └────────┬─────────┘     (是抽象的意图,而非坐标)
           │  周期性更新(低频)
           ▼
  System 1(快脑)
     │  以z为条件生成连续动作(高频)
     ▼
  ┌──────────────────┐
  │ 关节力矩/位置      │  ──▶  机器人执行
  └──────────────────┘

这种方式的优点在于，快脑可以自行决定"如何"实现这个意图。当障碍物突然出现或物体打滑时，快脑会在保持同一意图的同时立即调整路径。慢脑不需要逐一指示每一瞬间的细节。

时间尺度的对齐

由于两个系统以不同的频率运转，如何对齐时间尺度就显得很重要。

频率对齐(概念性数值,实际因实现而异)

  System 2:  数Hz水平            (规划·重新规划)
  System 1:  数十~数百Hz水平      (低层控制)

  → 在一次缓慢规划期间,快速控制会执行多次
  → 若环境快速变化,快脑先做出反应,
     慢脑则在下一次规划中更新大局

准确的控制频率可能因硬件、模型规模、任务性质而异。核心是"快速反应交给快脑、重大决策交给慢脑"这一分工原则。

移动与操作的整合

人形机器人特有的难题

与单臂机械臂不同，人形机器人必须一边保持平衡一边用手完成作业。腿部控制(移动·平衡)与手臂控制(操作)会相互影响。例如，单手举起重物时重心会发生偏移，平衡控制必须立即做出反应。

┌──────────────────────────────────────────────────────────┐
│          移动-操作的相互作用(概念)                         │
└──────────────────────────────────────────────────────────┘

   上半身(手臂·手)          下半身(腿·平衡)
   操作任务                 支撑·移动
       │                     │
       └────── 重心变化 ─────┘
                 │
                 ▼
        ┌──────────────────┐
        │  需要全身协调       │  伸出手臂时腿部随之修正平衡
        └──────────────────┘

  → 快脑(System 1)必须以高频率统筹全身,才能保持稳定

许多人形机器人系统会将移动(locomotion)与操作(manipulation)分开处理，但也在逐渐朝着共同控制全身的方向发展。在双系统中，让快脑以高频率承担这种全身协调，是很自然的选择。

仿真与sim-to-real

为何需要仿真

人形机器人的真实示范数据收集起来非常困难且危险。因此在仿真环境中生成大量合成数据，以弥补训练数据的不足。但仿真与真实世界之间在物理、传感器、外观上存在差异(sim-to-real gap)，导致在仿真中表现良好的策略在现实中可能失败。

域随机化

缩小这一差距的代表性技术是域随机化(domain randomization)。在仿真中每次训练时随机改变光照、材质、物理参数(摩擦力·质量等)，可以让模型不至于对特定条件过拟合，从而对多样的变化更加稳健。

┌──────────────────────────────────────────────────────────┐
│            域随机化(概念)                                  │
└──────────────────────────────────────────────────────────┘

  在仿真中每次训练都随机改变:
    - 光照·颜色·材质
    - 摩擦力·质量·惯性
    - 摄像头位置·噪声
        │
        ▼
  ┌──────────────────┐
  │  对多样变化        │   不会对特定条件过拟合
  │  更加稳健的策略     │   ──▶  更容易迁移到真实环境
  └──────────────────┘

除域随机化外，还会结合用真实数据校准仿真、真实与仿真联合训练、额外利用人类动作视频等方法。GR00T所强调的多来源数据结合，也是这一大趋势的一部分。

面临的课题

人形机器人VLA虽然极具魅力，但仍有许多课题需要解决。

安全性：沉重的机器人在与人共处的空间中移动，因此必须严格管理碰撞·跌倒的风险。分布外(out-of-distribution)情况下的失败，可能导致物理伤害。
延迟(latency)：如果慢脑的规划太慢，快脑就会依据过时的意图行动。必须妥善对齐两个系统的时间尺度。
数据不足：人形机器人的真实示范数据收集非常困难。需要用仿真和人类视频加以弥补，同时缩小sim-to-real gap。
泛化与可靠性的平衡：尝试新任务的能力，与稳定完成已知任务的能力之间，需要取得平衡。
评估的难度：人形机器人在环境·硬件上的差异很大，导致结果的复现和公平比较十分困难。

双系统中的延迟问题(概念)

  当System 2的规划周期过慢时:

   t ───────────────────────────────────▶
   规划(过时) ─────────────── 下一次规划
   System 1:  ▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮▮  ← 这期间依据过时意图控制
                                    环境一变化就会出现偏差

  → 必须协同设计规划频率、意图更新方式、安全防护

为什么是现在的人形机器人

通用形态的魅力

人形机器人受到关注的原因之一，在于它是一种"天然适配人类环境的形态"。我们的家庭、工厂、办公室，都是按照人的手、身高、步态设计的。人形机器人有潜力在不改变环境的前提下开门、爬楼梯、直接使用人类惯用的工具。

通用形态的逻辑(概念)

  专用机器人: 每项任务都需要不同的机械设计
              + 对单一任务最优
              - 每个新任务都需要新硬件

  人形机器人: 一种形态可完成多种任务
              + 可复用人类环境·工具
              - 控制难度高(自由度·平衡)

  → "硬件泛化"与"软件泛化(VLA)"相遇的交汇点

当然，这既是潜力,也是难题。人形固然多才多艺，但也意味着需要控制的自由度更多，还额外背负着平衡这一难题。这正是双系统与VLA的进展被寄予厚望、被视为解决这一难题的工具的原因。

基础模型与数据飞轮

正如语言·视觉领域曾经历过的那样，机器人领域也期待出现这样一种良性循环(数据飞轮)：更多数据训练出更好的策略，更好的策略带来更多部署，而更多部署又重新收集到数据。

数据飞轮(概念)

   更多数据 ──▶ 更好的策略
        ▲              │
        │              ▼
   更多部署  ◀── 更广的任务覆盖
        (在现场收集新数据)

  ※ 只有满足安全性·可靠性,这一循环才能真正转动起来

将GR00T以开放形式提供，或共享统一数据集(Open X-Embodiment)，都可以看作是试图在社区层面推动这一飞轮转动的尝试。不过，要让这一循环真正转动起来，安全性与可靠性这一前提必须得到满足。

瞄准哪些任务

人形机器人VLA所瞄准的任务，大体上是人类日常·工作环境中那些劳动密集型的事务。

代表性的目标任务领域(概念)

  ┌─ 整理·搬运: 搬动、分类、整理物品
  ├─ 双手协作: 需要双手共同完成的任务
  ├─ 柔性操作: 处理布料·绳索·柔软物体
  └─ 工具使用: 直接使用人类惯用的工具

  → 越是难以规范化的"多样且多变"的任务,
     VLA的泛化能力与语言指令的价值就越突出

传统工业机器人擅长高度规范化、重复性的任务。相比之下，人形机器人VLA瞄准的领域，是物体·布局·指令每次都不同、难以规范化的任务。这类变动性越大的任务，语义泛化与自然语言指令的价值就越发凸显。当然，在可靠性与安全性得到充分保障之前，在人类监督下逐步扩大应用范围，才是现实的做法。

重新审视认知比喻

双系统架构最初源于人类认知中"快速直觉(System 1)与缓慢深思(System 2)"这一比喻。不过这个比喻只是灵感的起点，并非对人类大脑的精确建模。

比喻与工程实现的差异(概念)

  认知比喻:   快速直觉  ↔  缓慢深思
                  │             │
  工程实现:   高频控制  ↔  低频规划
              (小型策略)     (大型VLM)

  → 比喻只提供"分工"的直观感受
     实际设计取决于延迟·频率·安全·数据

在工程实践中重要的不是比喻本身有多贴切，而是如何高效地分担快速反应与缓慢推理、并将二者顺滑地衔接起来。两个系统的边界、潜在表示的形式、更新周期、安全层这类设计选择，才是决定实际性能的关键。

展望

双系统架构非常契合人形机器人的本质需求——"快速反射与缓慢思考兼备"。因为它能在不损失大型视觉-语言模型语义理解能力的前提下，确保平衡与精确操作所需的高频控制。像NVIDIA GR00T N1这样试图以开放形式提供共同基础的潮流，与像Figure AI Helix这样瞄准真实产品自主运行的潮流，正在同步推进。

未来的方向似乎已经很清晰：结合更多样数据(仿真·人类视频·网络)的联合训练、缩小sim-to-real差距的技术、保障安全的防护机制，以及将两个系统的时间尺度顺滑衔接起来的设计。在人形机器人真正在人类环境中广泛泛化之前，还有许多问题需要解决，但"两个大脑"这一理念，将会是这条道路上坚实的基础。

最后，我们用一张图来总结贯穿这三篇文章的整体脉络。

┌──────────────────────────────────────────────────────────┐
│            机器人VLA的整体脉络(三篇文章的串联)              │
└──────────────────────────────────────────────────────────┘

  第一篇: 把VLM当作策略 → 离散动作token(RT-2, OpenVLA)
        │  (语义泛化,但存在离散化·频率上的局限)
        ▼
  第二篇: 连续动作生成 → 平滑·高频(Diffusion Policy, π0)
        │  (多模态·平滑性,通过flow-matching实现快速控制)
        ▼
  第三篇: 扩展到人形机器人 → 双系统(GR00T N1, Helix)
        (慢理解 + 快控制,全身协调·sim-to-real)

  共同基础: 多样数据(Open X-Embodiment)、高效适配(LoRA)、
            安全防护机制,以及感知与行动的一体化

这一脉络展现出一个一以贯之的方向——"将感知与行动衔接进同一个学习系统"。每个阶段都在弥补前一阶段的局限，向着更通用、更平滑、更复杂的机型不断迈进。只要能切实坚守安全性与可靠性这一前提，机器人理解人类语言、并在人类环境中广泛工作的未来，就会一步步靠近。

参考资料

GR00T N1: An Open Foundation Model for Generalist Humanoid Robots, arXiv: 2503.14734
RT-2: Vision-Language-Action Models, arXiv: 2307.15818
OpenVLA: An Open-Source Vision-Language-Action Model, arXiv: 2406.09246
Open X-Embodiment: Robotic Learning Datasets and RT-X Models, arXiv: 2310.08864
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion, arXiv: 2303.04137
NVIDIA Isaac GR00T: developer.nvidia.com/isaac/gr00t
Figure AI: figure.ai
Physical Intelligence: physicalintelligence.company