Diffusion Policy 与 π0 — 平滑机器人行为背后的秘密

┌──────────────────────────────────────────────────────────┐
│              Diffusion Policy 的动作生成流程                │
└──────────────────────────────────────────────────────────┘

  观察(图像·状态) o_t  ──┐  (条件)
                        │
   纯噪声                ▼
   A_K  ──▶  A_{K-1}  ──▶ ... ──▶  A_1  ──▶  A_0
   (随机)    去噪        去噪          干净的动作序列
             步骤        步骤
             (以 o_t 为条件的神经网络预测噪声)

  A_0 = [a_t, a_{t+1}, ..., a_{t+H-1}]   ← 未来 H 步动作(chunk)

多模态情境下的输出对比

   可能正确的轨迹:      ╲           ╱
                        ╲ (向左)   ╱ (向右)
                         ╲       ╱
                          ●─────●  目标

   回归(均值)输出:        ↓ (径直穿过中间 → 碰撞/失败)

   扩散输出:    从分布中采样 → 一致地
                跟随左或右中的一种(不做模式平均)

# 概念性伪代码：Diffusion Policy 训练的一个步骤
# (实际实现会使用扩散调度器·U-Net/Transformer 骨干网络)

def training_step(obs, action_chunk):
    # action_chunk: [H, action_dim] 未来 H 步的干净动作
    k = sample_diffusion_step()              # 随机选择去噪步骤 k
    noise = gaussian_like(action_chunk)      # 标准正态噪声
    noisy = add_noise(action_chunk, noise, k)  # 按调度注入噪声

    # 神经网络以 obs 和步骤 k 为条件预测噪声
    pred_noise = denoiser(noisy, k, cond=obs)
    loss = mse(pred_noise, noise)            # 预测噪声与真实噪声之差
    return loss

┌──────────────────────────────────────────────────────┐
│         基于动作块的控制回路(概略)                     │
└──────────────────────────────────────────────────────┘

  1) 收集观察 o_t
  2) 通过扩散生成未来 H 步的动作块 A_0
  3) 实际执行其中靠前的一部分(例如最初几步)
  4) 每隔一定周期重新观察，回到 (1) 重新规划

  receding horizon：长规划、短执行、频繁更新
  → 在一致性(长规划)与响应性(频繁更新)之间取得平衡

┌────────────────────────────────────────────────────────────┐
│                    π0 结构(概略理解)                        │
└────────────────────────────────────────────────────────────┘

   图像·语言指令
        │
        ▼
  ┌───────────────────┐
  │  VLM 骨干网络      │  ← 网络预训练的语义理解
  │ (视觉-语言表示)    │
  └─────────┬─────────┘
            │  条件(上下文)表示
            ▼
  ┌───────────────────┐
  │  动作专家          │  ← 用 flow-matching 生成连续动作
  │ (action expert)    │     输出高频连续动作块
  └─────────┬─────────┘
            ▼
  连续动作块 a_{t..t+H}  ──▶  以高频控制执行

flow-matching 的直觉

  噪声 x_0  ──── 沿学习到的速度场 v(x, τ) 积分 ────▶  x_1
  (简单分布)        τ: 0 → 1                    (动作分布)

  v(x, τ)：告诉在时间 τ 时，点 x 应该流向何处(速度)
  ODE 积分：求解 dx/dτ = v(x, τ) 从 τ=0 到 1，即可得到样本

控制频率直觉(概念性)

  离散 token 自回归：  token → token → token ...  (逐维，慢)
                       难以快速响应

  连续动作块生成：      [a_t, a_{t+1}, ..., a_{t+H}] 一次性生成
                       可实现平滑、快速的更新

  ※ 准确的控制频率会因硬件、实现和任务而异。

噪声调度的直觉

  k:   K(噪声多) ───────────────▶ 0(无噪声)
       │                                │
  信号比例：  低 ──────────────────▶ 高
  噪声比例：  高 ──────────────────▶ 低

  在每个去噪步骤，神经网络预测「这一步的噪声」并将其去除
  → 经过多个步骤，纯噪声收敛为干净的动作

按步数划分的权衡(概念)

  步数多 (例如：几十~几百)
    + 动作分布更精确
    - 推理慢 → 控制频率降低

  步数少 (例如：个位数)
    + 推理快 → 可实现高频控制
    - 分布近似可能变粗糙

  DDIM 类确定性采样器或蒸馏(distillation)等
  在少步数下仍能保持质量的技术正被积极研究

两种生成范式的对应关系(概念)

  扩散(DDPM):       离散马尔可夫链，逐步去除噪声
  确定性采样(DDIM):  把扩散视为 ODE 的确定性积分
  flow-matching：    从一开始就直接学习 ODE 速度场

  共同点：学习从噪声到目标分布的「流动」
  差异：  链长度·确定性·训练目标的形式

决策指南(概念，非绝对规则)

  ┌─ 精确·多模态操作，数据充足
  │     → Diffusion Policy 系列较稳定
  │
  ├─ 需要高频连续控制(手部动作快、平滑)
  │     → 基于 flow-matching(π0 方向)
  │
  ├─ 强语义泛化·应对新指令是首要目标
  │     → 基于 VLM 骨干网络的 VLA(离散 token 或连续结合)
  │
  └─ 简单·重复任务，快速原型开发
        → 从轻量策略起步，需要时再扩展

训练-推理检查清单(概念)

  [ ] 示范数据的初始条件·物体·背景是否足够多样
  [ ] 观察 ↔ 动作的时间戳对齐是否准确
  [ ] 动作块长度是否与任务周期匹配
  [ ] 推理步数·采样器是否满足速度-质量平衡
  [ ] 安全限制(速度·扭矩·工作空间)是否位于底层

┌──────────────────────────────────────────────────────────┐
│        移动杯子任务的控制回路(概念性时间线)               │
└──────────────────────────────────────────────────────────┘

  t0  观察: 通过摄像头确认杯子·盘子·手的位置
        │
        ▼
  t0  生成: 未来 H 步的动作块 A_0 = [a_t .. a_{t+H-1}]
        │     (通过去噪或 flow-matching 得到的连续轨迹)
        ▼
  t0~  执行: 将动作块前部(几步)发送给机器人
        │     手朝杯子平滑靠近
        ▼
  t1  重新观察: 检测到杯子稍微滑动
        │
        ▼
  t1  重新生成: 用新观察更新动作块 → 修正路径
        │
        ▼
  ...  重复: 抓取 → 抬起 → 移动 → 放下
        │
        ▼
  结束: 打开夹爪，判定任务完成

延迟预算的分解(概念)

  传感器采集    ──▶  预处理(图像缩放等)
       │                  │
       ▼                  ▼
  模型推理(生成)  ──▶  后处理(逆变换·安全过滤)
       │                  │
       ▼                  ▼
  发送至控制器  ──▶  关节驱动

  总延迟 = 以上各阶段之和
  → 任一阶段变慢，整体控制频率都会下降

异步流水线(概念)

  生成线程:  [生成动作块 A]      [生成动作块 B]
                  │                  │
                  ▼                  ▼
  执行线程:  ▮▮▮▮▮▮▮▮ (消耗 A) ▮▮▮▮▮▮▮▮ (消耗 B)

  → 在执行 A 的同时预先生成 B → 实现无缝控制
  ※ 准确的时序会因硬件、实现而异。

提升样本效率的策略(概念)

  ┌─ 利用预训练：复用 VLM 骨干网络的语义表示
  ├─ 数据增强：通过颜色·裁剪·视角变化扩展示范
  ├─ 多任务学习：多个任务一起训练以诱导迁移
  └─ 高效微调：用 LoRA 等方法以较少资源完成适配

  → 用于弥补昂贵的真实示范数据之局限的方向