Skip to content
Published on

触觉感知与精细操作 — 机器人用指尖去感受世界

🇰🇷KO🇺🇸EN🇯🇵JA🇨🇳ZH
필사 모드
分享
Authors

引言

即使闭上眼睛,我们也能在口袋里分辨钥匙和硬币,靠调节力道让水杯不洒出来,并在物体即将从指间滑落的瞬间本能地抓住它。让这一切成为可能的,正是触觉。

机器人操作(manipulation)长期以来主要依赖"眼睛"。用摄像头看物体,估计它的位置和姿态,再把夹爪送过去。但手一旦接触到物体,视觉就会被手与物体之间的接触遮挡而看不见(occlusion,遮挡)。物体到底有没有滑动、握得有多紧、表面是光滑还是粗糙,只有指尖的感觉才知道。

本文将讨论让机器人用指尖感受世界的触觉感知,以及利用这种感觉进行的精细操作。我们会看有哪些传感器、触觉实际能提供哪些信息、它如何与视觉融合、如何通过学习掌握手内操作,以及触觉特有的 sim2real 问题。

为什么需要触觉

视觉和触觉各有所长。视觉擅长从远处把握整个场景,但会错过接触瞬间的细微物理过程。触觉正好相反。

感官擅长的不擅长的
视觉远距离感知、整体布局、大致形状接触力、滑移、遮挡背后的状态
触觉接触力、滑移检测、局部质感与形状远距离感知、接触前的信息

在精细操作中,决定性的瞬间大多发生在接触之后。用手指拧螺丝、拿起一张薄卡片、把鸡蛋移动而不打碎——没有接触力的实时反馈,这些都非常困难。这就是需要触觉的原因。

触觉传感器的两条脉络

机器人触觉传感器大致可分为两大系列。

基于视觉的触觉传感器(GelSight 系列)

代表性的是 GelSight 系列。原理惊人地简单却强大。在透明的凝胶(类似果冻的弹性体)表面覆上一层薄薄的反射膜,再从内侧用摄像头拍摄这块凝胶。物体按压凝胶时,凝胶表面发生形变,摄像头在内部 LED 照明下把这种形变捕捉为图像。

   物体按压凝胶表面
        │
        ▼
   ┌─────────────────────────────┐
   │  弹性凝胶(反射涂层)          │  ← 按物体形状发生形变
   ├─────────────────────────────┤
   │  透明支撑层                  │
   │        ↑ LED 照明(多色)      │
   │      [ 摄像头 ]  ──▶ 图像     │  ← 高分辨率拍摄形变
   └─────────────────────────────┘
        │
        ▼
   将接触形状、微观质感、力分布获取为"图像"

这种方式最大的优点在于,它把接触变成了图像。接触面的微观质感、细小字迹、表面凹凸都能以高分辨率图像获取,还能从凝胶的形变量中读出力分布,乃至滑移的先兆。而且已经成熟的计算机视觉、深度学习工具可以直接拿来用,这也是很大的优势。

电子皮肤(基于电信号的触觉阵列)

另一条脉络是电子皮肤(electronic skin,e-skin)。把对压力、形变有反应的元件以网格状排布在大面积上,把各点的力读作电信号。方式多种多样,有电容式(capacitive)、电阻式(resistive)、压电式(piezoelectric)等。

电子皮肤便于覆盖轻薄、大面积的区域,在感知手臂、躯干等大范围部位的接触上有优势。相对地,要获得像视觉类传感器那样超高分辨率的质感图像就比较难。与其说这两条脉络是竞争关系,不如把它们看作分工不同的角色更自然——指尖(高分辨率)与大面积表面(广覆盖)。

触觉能告诉我们什么

我们来整理一下,从触觉传感器实际能提取出哪些信息。

  • 接触力与方向:按压的力度有多大、方向朝哪。处理鸡蛋这类脆弱物体时是必需的。
  • 滑移(slip)检测:物体开始从手中滑落的早期迹象。一旦检测到滑移,就能立刻加大握力,避免掉落。
  • 局部形状与质感:接触面的凹凸、边缘、表面粗糙度。类似在黑暗中用手摸索钥匙孔。
  • 接触位置:物体接触到手指的哪个位置。这是手内操作中估计物体姿态的线索。

滑移检测尤其重要。人在物体刚开始滑动的极早期信号(振动、接触面移动)出现时就能感知到,并无意识地加大力度。机器人如果也能用触觉捕捉这个信号,就能做到既不会握得太紧而弄坏物体,也不会握得太松而失手的精妙力度调节。

向人类的触觉学习

机器人触觉研究常常参考人类的指尖。人类皮肤中存在多种机械感受器(mechanoreceptor),各自专精于不同的刺激。

感受器类型擅长感知的在机器人中的对应
快适应型振动、滑移的起始接触面变化的时间微分
慢适应型持续的压力、形状静态力分布

其中的核心洞见是:"触觉不是单一信号,而是多个通道的组合"。测量持续压力的通道,与测量瞬时变化的通道必须同时存在,才能实现稳定的抓握。这也是基于视觉的触觉传感器之所以强大的原因——凝胶表面的静态形变(压力)与该形变的时间变化(滑移先兆),可以同时从一个图像流中提取出来。

抓握稳定性:该用多大的力握住

操作中一个根本性的问题是"该用多大的力握住"。力太小会失手,力太大会弄坏物体或给关节带来负担。人能无意识地把握这个平衡,但机器人需要明确的策略。

   握力 ────────────────────────────────────▶
   太弱          适当区间           太强
   ┌──────────┬─────────────────┬──────────────┐
   │  滑落      │  稳定抓握         │  物体损坏     │
   │  失手      │ (靠触觉维持)      │  过载         │
   └──────────┴─────────────────┴──────────────┘
        ▲            ▲                 ▲
      力不足      靠触觉反馈        力过大
                 停留在这个区间

触觉反馈让机器人能够停留在这个"适当区间"里。检测到滑移先兆就稍微加力,状态稳定就只维持最小力度。这样一来,鸡蛋这类脆弱物体和沉重的工具就能用同一只手来处理。不把握力固定成某个数值,而是靠触觉实时调节——这正是精细操作的出发点。

触觉数据的表示

要把触觉用于学习,就必须把传感器输出表示成策略能够处理的形式。大致分为两个方向。

  • 图像表示:基于视觉的传感器直接把接触结果给成图像。可以直接套用 CNN 这类视觉神经网络,很方便。
  • 低维信号表示:表示为是否接触、接触位置、力向量这类概括后的数值。轻量,有利于 sim2real,但会丢失微观质感信息。

哪种表示更好取决于任务。像拿起一张薄卡片这样重视微观质感的任务,图像表示可能更有利;像不让沉重物体掉落这样重视力管理的任务,低维表示可能更有利。实际使用中,两者也常常混合使用。

视觉-触觉融合

最强大的操作系统会同时使用视觉和触觉,因为两者能互相弥补对方的短板。

   ┌──────────── 视觉(摄像头) ────────────┐
   │  接触前:大致把握物体位置与形状          │
   │  规划手接近的路径                      │
   └──────────────────┬───────────────────┘
                      │  接触瞬间,手挡住物体
                      ▼
   ┌──────────── 触觉(指尖传感器) ─────────┐
   │  接触后:掌握力、滑移、局部形状          │
   │  实时力度调节、姿态微调                 │
   └──────────────────┬───────────────────┘
                      │
                      ▼
        ┌──── 视觉-触觉一体化策略 ─────┐
        │  同时接收两种感官作为输入,   │
        │  决定下一步动作              │
        └─────────────────────────────┘

典型的流程是这样的。接触之前用视觉接近物体,一旦接触,主导权就转交给触觉,由它来调节力度、防止滑移。在基于学习的系统中,有时会把摄像头图像和触觉图像(或信号)一起输入神经网络,学习出一个综合两种感官的单一策略。

主动触觉探索

触觉并不是只能被动"感受"的感官。人为了了解物体,会主动地移动手指。摩擦表面来了解粗糙度,按压来了解硬度,沿着轮廓移动来把握形状。这被称为主动触觉探索(active tactile exploration)。

   摩擦        ──▶ 掌握质感、粗糙度
   按压        ──▶ 掌握硬度、弹性
   沿轮廓移动   ──▶ 掌握形状、边缘
   拿起来       ──▶ 估计重量、重心

机器人同样也可以为了获取信息而自主选择接触方式。如果"目前还不确定这个物体是什么",就移动手指去收集更多触觉信息。这让操作不再是单纯的执行,而变成感知与行动交织在一起的探索过程。信息不足就多摸一摸,信息足够就动手执行——这个循环正是主动触觉的核心。

仅凭触觉识别物体

一个有趣的应用是仅凭触觉识别物体。也就是把闭着眼睛在口袋里分辨钥匙和硬币的这种能力赋予机器人。由于基于视觉的触觉传感器能把接触结果给成高分辨率图像,仅凭接触面的质感和形状,就能相当程度地区分物体。

   物体 A(光滑圆柱体)   接触图像 ──▶ [分类器] ──▶ "笔"
   物体 B(有凹凸的表面)  接触图像 ──▶ [分类器] ──▶ "硬币"
   物体 C(柔软的布料)    接触图像 ──▶ [分类器] ──▶ "布料"

这项能力之所以有用,是因为即便视野被遮挡,机器人也能知道自己现在摸到的是什么。用手在包里翻找想要的物品,或是在黑暗中分辨零件,都因此成为可能。视觉与触觉一起使用时,还可以当作一道"确认"工序——用手去触摸从远处大致看到的物体,加以确认。

力控制基础

要用好触觉,机器人必须能够控制力。只控制位置的机器人只能遵从"移动到这里"这样的指令,而能控制力的机器人则可以遵从"用这么大的力按压"这样的指令。

   仅位置控制:  移动到目标位置(接触时有用力过大的风险)
        │
        ▼
   力/柔顺控制:  在维持目标力的同时接触
        │  (即使碰到坚硬的墙壁也能柔和地按压)
        ▼
   与触觉反馈结合:  用测得的接触力实时调整目标

其中柔顺性(compliance)这个概念尤其重要。具有柔顺性的机器人会对外力做出柔和的反应,即使遇到未预料到的接触,也不会伤到部件或人。用触觉传感器测出接触力,并据此让机器人以柔顺的方式移动,就能实现僵硬的位置控制所无法做到的精细操作。触觉与力控制,实际上是一对搭档。

接触前后:感官的交接

把操作过程沿时间轴展开,就能一眼看出感官主导权是如何变化的。

   时间 ────────────────────────────────────────────▶

   [ 接近 ]        [ 接触 ]         [ 操作 ]        [ 分离 ]
   视觉主导         过渡            触觉主导         视觉确认
   向物体移动       检测首次接触     管理力度与滑移    确认结果
      │              │                │              │
   摄像头引导     触觉开始介入      触觉主导        再次交给摄像头

这张图的关键在于"感官不是固定不变的"。接近时是视觉主导,接触后是触觉主导,结束后又交回给视觉。做得好的操作系统会平滑地处理这种交接——精准地检测接触瞬间以切换到触觉,操作结束后再用视觉确认结果。两种感官的自然协作,正是精细操作的基础。

多指手的挑战

精细操作通常需要多根手指(multi-fingered hand)。两指夹爪的极限止步于抓取,但如果像人手一样有多根手指,就能在手中自由地摆弄物体。然而手指越多,控制难度就会急剧上升。

  • 自由度爆炸:每根手指都有多个关节,需要控制的变量随之增多。
  • 协调:多根手指的力必须协调一致,物体才能保持稳定。
  • 触觉通道增加:必须把每根指尖的触觉都综合起来,感知处理的负担也随之加重。

因此多指手操作大体上高度依赖学习。要用人为一条条制定的规则去处理数量众多的手指和关节,是非常困难的。把触觉纳入观测,再通过强化学习或模仿学习来掌握协调,是更现实的做法。

精细的手内操作

手内操作(in-hand manipulation)是指把已经抓住的物体在手中重新滚动、旋转、改变姿态的能力。例如把手中的立方体转到希望的一面朝上,或者在指间旋转一颗螺栓。这被认为是机器人操作中最困难的问题之一。

之所以困难,有以下原因。

  • 接触持续变化:在滚动物体的过程中,有的手指会离开,有的手指会新接触上。接触状态每时每刻都在变化。
  • 遮挡严重:手中的物体被手指遮挡,摄像头很难看清。这正是触觉尤为重要的原因。
  • 微妙的力平衡:多根手指施加在物体上的力必须保持平衡,才能在不掉落的前提下按意图移动物体。

在这个问题上,触觉是告诉我们"物体现在在手中处于什么姿态、哪根手指以怎样的方式接触着"的关键感官。视觉因遮挡而无法获知的信息,由指尖来补上。

学习方法:把触觉放进策略里

精细操作往往更倾向于用学习来解决,而不是逐条手写规则。我们来看两条代表性的路径。

基于强化学习

在仿真环境中放置手和物体,以"转到期望姿态就给予奖励"的方式,通过试错学习策略。观测中除了关节状态,还会加入触觉信号(是否接触、接触位置、力等)。触觉一旦被纳入观测,策略就能在遮挡的情况下依然估计物体状态并完成操作。

  ┌───────────── 手内操作学习(概念) ─────────────┐
  │                                                │
  │  观测 = 关节状态 + 触觉信号(接触·力·位置)      │
  │        │                                       │
  │        ▼                                       │
  │   [策略神经网络] ──▶ 各手指关节的目标            │
  │        │                                       │
  │        ▼                                       │
  │   在仿真器中观测物体姿态变化 ──▶ 奖励            │
  │        │  (越接近目标姿态越 +,掉落则 -)         │
  │        └──────────────────────────────────────┘
  └────────────────────────────────────────────────┘

基于模仿学习

由人通过遥操作或演示来展示操作过程,把当时的视觉、触觉、动作数据收集起来,让策略去模仿。最近也有越来越多尝试,把触觉作为一种输入模态,加入到同时处理视觉、语言、动作的策略(VLA 路线)中。不过,触觉数据的标准化和大规模采集仍是一个正在发展中的领域。

触觉 Sim2Real

把在仿真中学到的策略迁移到实物上的 sim2real 问题,在触觉领域尤其棘手。接触物理(摩擦、形变、弹性)正是仿真器最难以近似的对象之一。

  仿真触觉(近似的接触物理)              实物触觉(复杂的摩擦·形变·噪声)
        用简化模型计算接触        vs      凝胶形变、滑移、传感器噪声实际发生
              │                                        │
              └────── 用来缩小这道差距的技术 ──────────┘
                 · 域随机化(随机化摩擦·刚度·噪声)
                 · 用实测接触图像校准仿真渲染
                 · 把触觉简化为接触点·力等抽象信号

方法与运动(locomotion)领域的 sim2real 类似。用域随机化(domain randomization),在学习过程中让摩擦系数、凝胶刚度、传感器噪声随机变化,避免对特定数值过拟合。对于基于视觉的传感器,也会努力在仿真中渲染凝胶形变,使其尽可能接近实物图像。此外,如果把触觉不用原始图像、而是概括为"是否接触、接触位置、大致的力"这类更抽象的信号,仿真与实物之间的差距往往会随之缩小。

传感器系列的深入比较

我们再深入看一下两条传感器脉络之间的差异。选择始终是一种权衡。

视角基于视觉(GelSight 系列)电子皮肤(e-skin)
空间分辨率非常高(图像级别)相对较低(取决于网格密度)
覆盖面积指尖等小面积有利于大面积覆盖
厚度因摄像头与凝胶而略厚有利于做得很薄
输出形式图像电信号阵列
耐久性易受凝胶磨损影响因方式而异
工具复用可直接沿用视觉工具需要专用处理

总结来说,指尖的精密操作适合用基于视觉的传感器,手臂、躯干这类大面积部位的接触感知则适合用电子皮肤。把两者结合的混合设计也很自然——指尖用高分辨率图像做精密感知,大面积表面用电子皮肤做大致感知。

实际工作流程示例:连接器插入

我们以把连接器插入插座这项工作为例,来看触觉在实际中是如何被使用的。这是仅靠视觉极难完成的一类代表性任务。

   1) 接近    用视觉大致确定插座位置,把连接器移到附近
      │
      ▼
   2) 探索    把连接器端部轻轻贴到插座周围,靠触觉检测接触
      │        (还没插进去 → 微调位置)
      ▼
   3) 对齐    从接触力的方向估计偏离的角度,修正姿态
      │        (有卡住的感觉 → 沿力的方向对齐)
      ▼
   4) 插入    对齐后平稳地推入,用触觉监视插入力
      │        (检测到过大的力 → 立即停止,防止损坏)
      ▼
   5) 确认    根据"咔哒"一声的接触信号判断插入完成

在这个过程中,视觉从第 2 步之后几乎帮不上什么忙,因为连接器和插座被手和部件挡住而看不见。就像人在黑暗中仅凭手感把插头插进插座一样,机器人也是靠触觉完成这种精细的对齐与插入。这正是触觉真正发挥价值的典型场景。

基准与数据

触觉研究要走向成熟,需要公平的比较基准。但这里存在结构性的困难。

  • 传感器多样性:每种传感器的输出格式都不同,用一种传感器采集的数据很难直接用在另一种传感器上。
  • 可复现性:接触物理对细微条件(摩擦、温度、凝胶状态)很敏感,同一实验很难复现。
  • 缺乏标准任务:"用这个任务来衡量成功率"这样的共识标准目前还不足。

因此,近来不断有人尝试构建横跨多种传感器与任务的公共数据集和评估协议。考虑到视觉与语言领域正是借助大规模基准才得以快速发展,这类公共基础设施在触觉领域也是成长的关键。不过这个领域仍在发展中,具体某个数据集的规模或构成可能会因时间点而不同。

应用

  • 精密装配:连接器插入、螺丝紧固等需要精细力反馈的作业。
  • 脆弱物体处理:鸡蛋、水果、玻璃等力度控制至关重要的物体。
  • 薄而柔软的物体:布料、纸张、线缆等仅靠视觉难以处理的物体。
  • 黑暗或遮挡环境:在视野被遮挡的地方仅凭手感寻找并组装零件。
  • 医疗·服务机器人:需要与人或柔软物体安全接触的场合。

陷阱与局限

  • 传感器耐久性:柔软的凝胶可能不耐反复接触和磨损,需要考虑更换与保护设计。
  • 缺乏数据标准:每种触觉传感器的输出格式不同,大规模公共数据集和基准尚未成熟。
  • 接触物理的难度:摩擦与形变难以精确建模,这会导致 sim2real 和可复现性方面的问题。
  • 处理延迟:实时处理高分辨率触觉图像会带来计算负担。
  • 泛化能力:在特定物体·条件下表现良好的策略,换到陌生的物体或表面时性能可能下降。
  • 评估标准:能公平比较"处理得有多好"的标准指标仍在建立之中。

触觉与 VLA 的相遇

前面提到过机器人基础模型与 VLA(Vision-Language-Action)这一路线。一个有趣的近期问题是:"如果在这上面再加入触觉会怎样?"可以设想在视觉与语言之上再加入触觉、能够处理触觉的扩展策略。

   现有的 VLA:   视觉 + 语言 ──▶ 动作
                    │
                    ▼  添加触觉模态
   扩展流程:  视觉 + 语言 + 触觉 ──▶ 动作
                    │
                    ▼
        即使在接触瞬间也遵循语言指令,进行精密操作

不过这并不容易。视觉和语言数据在网络上极其丰富,而触觉数据只能来自真实接触,且每种传感器的格式都不一样,难以大规模采集。尽管如此,把触觉整合为一种感官通道的尝试,仍被视为精细操作自然而然的下一步。这个方向能多快走向成熟,目前仍是一个开放的问题。

从学习视角做总结

我们用一张表来整理把触觉放进策略的几种方法。

方法数据来源优点缺点
强化学习仿真中的试错数据成本低,具探索性sim2real 差距
模仿学习人类演示直接迁移人类技能演示采集成本高
混合仿真 + 少量实物兼顾稳健性与效率流程更复杂

没有哪种方法是万能的。实践中通常是先用仿真打好基础,再用少量实物数据做微调,必要时再补充人类演示,把多种方法组合起来使用。像触觉这样数据稀缺的领域,数据高效的组合策略就显得尤为重要。

缩小触觉 Sim2Real 差距的三条路径

前面提到,触觉的 sim2real 尤其棘手。缩小这道差距的努力大致可以分为三条路径。

  • 让物理更精确:更真实地仿真接触、摩擦、形变,让仿真与实物的物理本身更接近。
  • 让策略更稳健:通过域随机化让策略经历各种各样的物理条件,培养出能应对任何实物条件的策略。
  • 让表示更抽象:把触觉不用原始图像、而是概括为接触点、力等抽象信号,使用仿真与实物更容易共享的表示方式。

这三者并不互斥,而是会一起使用。一边改进物理,一边让策略更稳健,同时也谨慎地挑选表示方式。归根结底目标只有一个:在仿真中廉价地大量学习,同时让结果在实物上也能奏效。由于触觉复杂的接触物理,这个目标比运动(locomotion)领域更困难,但正因如此,这也是一个被积极研究的领域。

实时性与延迟

在操作中,触觉越快越好。从检测到滑移到加大力度之间的延迟如果太大,物体可能早已掉落。人类的滑移反射非常快。机器人也需要与之相当的快速触觉反馈回路。

   发生接触 ──▶ 传感器测量 ──▶ 信号处理 ──▶ 判断 ──▶ 调整力度
      │            │            │           │          │
      └── 每个阶段的延迟累积起来,就成了整体反应时间 ──────┘

   目标:让整个回路足够快地闭合(延迟尽可能短)

基于视觉的传感器能给出高分辨率图像,但代价是处理这些图像会带来计算负担。相反,低维信号处理起来很轻量。因此在实时操作中,必须在"要多精细地感知什么"与"要多快地反应"之间取得平衡。像防止滑移这种速度攸关生死的反射,用轻量信号快速处理;而像把握质感这种需要精细度的识别,用图像慢慢处理——这样分工也是一种方法。

新方向

触觉操作是一个正在快速拓展的领域。我们来梳理几个趋势。

  • 更便宜、更耐用的传感器:要实现大规模部署,需要廉价且耐磨损的传感器。
  • 全身触觉:感知范围超越指尖,扩展到手臂、躯干,朝着能与人安全接触的机器人发展。
  • 触觉仿真的进步:更精确地仿真接触物理,能缩小 sim2real 差距。
  • 感官融合的深化:综合视觉、触觉,乃至听觉(接触音),朝着理解物体与情境的方向发展。

这些趋势的共同目标只有一个:让机器人能更精细、更安全地接触物理世界。接触是操作的本质,而触觉正是理解这种接触的感官。

结语

赋予机器人指尖的感觉,会把操作从"看一眼、大致猜测"的问题,转变为"感受、实时调节"的问题。基于视觉的触觉传感器把接触变成了图像,让成熟的视觉工具得以直接沿用;电子皮肤则能感知大面积表面的接触。我们同时使用视觉与触觉,通过学习掌握手内操作,并用 sim2real 技术不断缩小与实物之间的差距。

就像人闭着眼睛也能在口袋里摸出钥匙一样,机器人仅凭指尖就能处理这个世界的那一天——触觉研究正朝着这个方向,安静却坚定地前进着。

参考资料

Discuss on Twitter • View on GitHub