如果你最近在看触觉，那大概率绕不过我们这篇的Knowhow。

触觉，应该是下半年我跟的最多的一个赛道。

(资料图片仅供参考)

我们8月份就已经聊了触觉产业链从传感器、灵巧手、触觉数据供应商、触觉算法大概20多场，也收敛了很多内部的结论（这个专题报告写了很久，还要一点时间公开，快了快了）。

当你把整个产业链摸一遍的时候，会发现很多神奇的事情：

造成这个问题的本质，还是因为触觉产业链太长了，会导致大家的立场变得不同。

比如供给侧（传感器、手套、灵巧手）在用一套源自工业传感器的指标体系竞争，而需求侧（模型与算法）关心的却是测量稳定性、时间分辨率与数据质量。

我们当时就有一个判断：

我们8月份的某篇文章聊到了触觉的终局。

这才是真的符合第一性原理的思路，而且最好是即开即用，面对新的传感器也不用重新训练。

说实话，最近几个月我们看了很多触觉的工作，但我们依然认为是小打小闹。包括李飞飞教授的T-Rex，也只是在EgoScale的 2万小时基础上加了400小时的触觉数据。

直到昨天，我们看到了有团队愿意花大功夫去做这件事。

跨传感器 x 即插即用的触觉基模， LingBot-Touch。

一次性覆盖压阻、霍尔磁和视触觉三大类的触觉传感器，还是让我有些兴奋的。

就赶紧找 LingBot 的朋友帮忙牵线负责人交流看法。

过程中，我们聊到了很多的Knowhow，如果你正在做触觉相关的事情，也想了解触觉的终局，那非常推荐大家仔细看看我们今天的文章。

以及，最后也希望能够让大家明白我们算法的视角到底 care 触觉哪些事情，这样你就有了终局思维。

Enjoy~

1

处理数据都要花一年踩坑。

我就说一个点，触觉的数据真的是让人又爱又恨。

负责人说，围绕这约五千小时的数据，他们内部做了接近一年。

我抛个问题：大家觉得触觉算法的壁垒在哪里？

反正应该不是模型结构，LingBot-Touch 的网络结构图丢给 Codex，花点功夫就能做出来。。。

那数据上的时间花在哪里？

从采集开始，就有一连串的问题。我总结下当时提到的几点。

1）触觉采集的信息非常杂乱。

这是所有触觉手套最坑的地方，归根还是一致性太差。

就比如第一天采和后面几天采得到的触觉绝对值不一样（同一个物体）；男生采和女生采得到的触觉信息不一样；A手套和B手套采集得到的信息也不一样。。。。

变化也不是固定的偏移，响应随接触增长的过程都可能改变。

这就很麻烦了，而且触觉的信噪比其实不高。

说人话就是，有效的信息和噪声没办法很好的区分开来。我做了个示意图。

如果只是所有数值稳定地偏大一点，还能想办法标定。现在是同样的操作，今天得到一种变化，过几天又得到另一种变化。

模型要面对的差异里，混合进了传感器自身的状态变化。

换句话说，你以为自己在增加数据，实际也可能在不断增加新的分布差异。

以及，换个人戴手套采数据，得到的信号也不一样。

甚至如果人手大一些，戴上手套就可以会有预压力的噪声信息。

如果这层预压力始终固定，处理起来还算容易。可人在操作时会不断弯曲手指，手套也在被拉伸、挤压，触觉信息会跟着动作一起变化。

最难处理的，是这部分噪声还有规律。

负责人说跟我说，这类有规律的信号是非常容易被模型捕捉到的。

比如某个手指每次弯下去，某些触点就出现相似的变化，它很容易把两者联系起来。

到了本体的灵巧手上，却没有同样的佩戴关系，也没有同样的织物拉伸过程。训练时很好学的东西，部署时可能派不上用场。

聊到这里，我才更具体地理解，他们为什么要在数据上花这么长时间。

所谓去噪，会涉及到很多数据处理上的脏活累活，你得想办法把真实的接触保留下来。

不同采集员完成同一个动作，施力习惯也会有差别。团队因此在采集约束、数据处理和质检上都做了非常多工作。

具体方案没有完整公开，我们能确认的是，他们没有把拿到手的原始触觉信号直接堆进训练。

2）有些变化，在传感器这一端就已经丢了。

另一类问题是饱和。

比如手指还在继续用力，传感器已经到了量程上限，输出不再变化。对模型来说，后面的接触过程就被压成了一个平的数值。

负责人提到，他们尝试过用数据处理缓解饱和造成的信息损失，但帮助有限，最终仍然需要硬件改进。

算法可以处理已经测到的信息，传感器没有留下的变化，就不太好办了。。。

谈到力的绝对力值，负责人也分享他们心路历程发生的变化：

交流的时候拿了个杯子举例，说自己未必知道用了多大的力，但有一件事能感觉到：

“我是知道力是在变大还是在变小的，也能感知到杯子是否在手中发生滑移，触觉动态变化和接触事件是模型需要去学习的重点。”

这也是他们希望模型能理解到的东西。

3）不同路线，连采集方式都要重新考虑。

灵波最初希望更多使用手套采集的数据，但一些方案的设备戴到手上之后，会遇到体积和操作便利性的问题。

传感器较厚，采集员自己的触感也会受影响，精细动作就更难做。

这一点我们之前也提到过：为了记录触觉，得先屏蔽人手的触觉，设备还是改变了人原本的触觉和操作方式。

目前没有更好的方法，大家都还在探索过程中。

实际上，各家传感器的表达方式也差得很远。

就比如压阻是稀疏的点阵，视触觉是材料的形变。并且每家传感器的触点个数、如何排列等等，乃至每个数值表达的含义，也都不一样。

压阻触觉传感器点阵示意图。

所以论文里的压阻和磁式数据来自人类手套，视触觉是 Sharpa Wave 灵巧手的真机遥操（MANUS 手套）。

大约三分之二来自手套，三分之一来自真机。这个组合背后有实际的采集取舍。

LingBot-Touch 的触觉数据分布。

以上种种原因，都导致了触觉数据不太好 Scaling。

蚂蚁灵波首席科学家沈宇军最近也强调说：“这些能力的沉淀，最终还是要回到数据上。在一味的扩大数据规模之前，要先弄清楚什么样的数据值得继续积累。”

LingBot-Touch 就是要在诸多不成熟和不确定的硬件前提下，尝试得到一个现阶段能被大家借鉴的结论。

所以，我也想强调下五千小时数据真的不算少。

而回到本章节最开始的问题，触觉算法的壁垒在哪里？

是数据，是你为了想把数据用好，深入每一类传感器、每一个手套和数采过程中解决的种种问题。

这些东西，是在模型架构背后，沉淀下来的方法论和最底层的壁垒。

1

模型层面的一些思考。

这两天已经有很多详细介绍 LingBot-Touch 算法细节的文章了，我就不再赘述。

我最初想弄明白的是：为什么要专门为灵巧手做一个触觉基础模型？

负责人用一个薄壁杯举例。

机器人如果想完成这个动作，还是需要知道接触的具体细节。

难点在于，不同灵巧手的传感原理、指尖布局和采样频率都有很大差距。

相近的接触，在不同设备上也可能表现为很不一样的信号。如果每换一款手或一个任务，都要重新训 policy，那成本还是太高了，而且触觉经验也不好积累和复用。

所以负责人也总结了下他们的出发点，让同一个模型从多种触觉传感器的数据中学习可复用的接触表征。

算法的架构还是挺简洁的，就是每一类的传感原理都有自己的编码器单独处理。

LingBot-Touch 的网络架构，每一类触觉一个处理器。

说句题外话。其实还有一个好处，就是可以证明触觉和视觉可以解耦，这是我们当时调研发现很多工作都很难证明的问题。

下游是把基模输出的 token 接到 VLM、policy，还是其他的 head 里面，就看自己试了。

他们自己是接了 Diffusion Policy、π0.5、LingBot-VLA 和 T-Rex 做验证，做了无触觉、加入原始触觉、加入预训练触觉表征三组对照。

整体实验结果大家可以看一下。

官网有个摸麻将的分类 Demo，觉得还挺有意思。

还有一个 SD 卡的插拔，不是两个手指捏起来 SD 卡，是一个手指勾起来的那种，很类人。

1

站在算法这边，提一些自己的看法。

聊到最后，我也问了负责人一个很实际的问题：从算法的角度，最希望触觉传感器先解决哪三件事？

按优先级，他提到了一致性、寿命，再往后是全掌覆盖和感知点怎么分布。

1）先把同一个传感器自己的变化控制住。

这是目前算法体感上最大的问题。

从算法的视角，非常希望硬件可以提供一份能够长期信任的输入。

如果硬件用了几天，响应就变了，后面很多的结论都会受到影响。

而如果要把触觉传感器做成耗材，我觉得又会限制传感器本身的市场空间。

大家还需要一起努力。

一致性、一致性，还是 XXX 的一致性。。。

2）寿命问题也是一大卡点。

实际上，我自己的体感是手套用两周就会有漂移。。。

负责人也 offer 了类似的感受，他们接触过的一些手套，使用寿命离团队期待还有很大距离。

这些问题的代价会传到采集端。

中间会导致很多的运营问题，比如新设备的校验、标定等等，都得重新确认。

那换个角度，如果触觉传感器注定是易损件，我希望更换它之后，系统能较快恢复到一个可用状态。

哪些部分换了需要重新标定，哪些数据还能继续用，最好能有明确的说明。

这是我从算法和数采的角度补充的一点期待。

3）全掌触觉要继续做，感知点也要放在合适的位置。

目前大部分的触觉主要覆盖指尖。

但人做操作时，物体也会接触指侧和掌面。只看指尖，信息总有缺口。

负责人提到，全掌触觉也会有很大的探索价值，只是能用于验证的大部分是 3 * 3 or 5 * 5，相比人手的触觉来说还是不太够。

以及算法侧想要的是合适的信息分布。

什么地方需要更细的空间信息，什么地方主要需要及时发现接触和滑动，应该结合任务去判断。

这里也可以推演下灵巧手未来的触觉形态，会非常有可能装配不同的触觉传感器。

指尖需要较细的接触信息，掌面要兼顾厚度、面积和集成空间，单一路线未必在所有部位都合适。

负责人设想，某些指尖用视触觉，其他区域采用压阻或别的方案。

如果产品往这个方向发展，跨传感器的需求就会直接出现在同一只手上。

我也分享蚂蚁灵波首席科学家沈宇军的一句话：现实中没有 100% 零误差的传感器，尤其是在触觉等传感器尚不成熟的方向。

机器人必须要从带误差的数据中理解环境。

模型需要提高对误差的适应能力，硬件也要让输入更稳定、差异更可描述。

这两件事需要一起往前做。

1

尾声。

OK，最后再谈一下自己真实的感受。

不可否认的是，触觉还处于非常早期的阶段。

但对于一个承载着机器人能力想象空间的赛道，我会认为还是非常值得大家去推进的。

灵波的 Touch 工作，让我留下最深的印象有两点。

一是大量的数据处理工作，二是跳出现状做纯触觉的基模。

这些东西是模型背后，大家看不到的地方。

也期待下他们后面可以 Cover 电容类的触觉传感器，做出更多大家认可的工作。

以上。

点个“爱心”，再走 吧