Meta与Wonik的合作则聚焦于Wonik的新一代Allegro Hand新一代智能触觉系统机械手 可实现多模态环境感知

Meta FAIR（基础AI研究）团队2024年11月1日发布了三项重要科研成果，在触觉感知、机器人灵巧度和人机交互方面取得了显著进展。

Meta Sparsh是Meta的一种多功能触觉编码器，能够适配多种触觉传感器，应用于各种任务中。该模型在超过46万个触觉图像的数据集上通过自我监督学习进行训练，使AI能够更好地理解和处理触觉信息。

Meta Digit 360是一款模拟人类指间的触觉传感器，具有多模态感知能力，具备超过18种传感功能，能够以人类水平的精度提供详细的触觉数据。

为了将触觉感知与动作控制相结合，Meta还推出了Meta Digit Plexus。Meta Digit Plexus是一个标准化平台，用于机器人触觉传感器的连接和交互。该平台提供了一种软硬件解决方案，能够将不同类型的触觉传感器集成到同一个机械手上，并通过单根电缆实现无缝的数据收集、控制和分析。

为了促进这些新技术的应用，Meta与传感器公司GelSight Inc.和韩国机器人公司Wonik Robotics达成了战略合作。GelSight Inc.将负责生产和分销Meta Digit 360，并为研究者提供早期试用机会；Wonik Robotics将利用Meta Digit Plexus技术开发新一代的机器人灵巧手Allegro Hand。

此外，Meta FAIR团队还推出了PARTNR基准测试，这是一个评估人机协作中规划和推理能力的标准框架。

一、Meta Sparsh：基于46万张触觉图像训练，表现优于同类95%以上

基于视觉的触觉传感器种类多样，形状、照明和凝胶标记各不相同。现有的方法通常依赖于针对特定任务和传感器的手工模型。这些模型很难扩展，因为真实的触觉数据（如力和滑动）很难标注。

相比之下，Meta FAIR开发的Sparsh利用了自我监督学习（SSL）的技术，不需要标签就能在多种基于视觉的触觉传感器上处理多个任务。Sparsh是在超过46万张触觉图像的大数据集上预先训练的。

为了标准化评估触觉模型，Meta FAIR团队引入了一个新的基准测试，包含6个以触觉为中心的任务。这些任务包括理解触觉特性、实现物理感知和灵巧规划。测试结果显示，Sparsh在这些任务上的表现平均优于特定任务和传感器的模型95%以上。通过提供预训练的触觉传感主干，Meta FAIR团队希望帮助机器人社区构建和扩展这些模型，推动机器人和AI等领域的创新应用。

▲ 使用TacBench评估Sparsh，这是一组6个以触觉为中心的任务，用于在不同的触觉传感器和模型之间进行标准化评估。（图源：Meta）

二、Digit 360：模拟人类指尖，配备超18种传感器

Meta Digit 360是一款形状类似人类手指的触觉传感器。它能够以人类水平的精度将触摸数字化，提供丰富而详细的触觉数据。Digit 360配备了超过18种传感功能，研究人员可以结合其各种传感技术，或单独分析每个信号，深入了解每种模式。

Meta FAIR团队希望未来研究人员能够使用Digit 360开发出更好的AI，这些AI能够更好地理解和建模物理世界，包括物体的物理性质、人与物体的交互以及接触物理学。Digit 360的功能超越了Meta上一代触觉传感器，能够检测到空间细节的微小变化，甚至可以捕捉到小至1毫牛顿（mN）的力。

▲ 人类指尖多模态触觉传感器Digit 360（右）与Meta上一代触觉传感器Digit（左）并排展示（图源：Meta）

为了实现这一目标，Meta FAIR团队开发了一种专门用于触觉感知的光学系统。该系统具有由800多万个触觉元素（taxels）组成的广阔视野，能够捕捉指尖表面的全向变形。

Meta FAIR团队还为Digit 360配备了多种传感模式。每次Digit 360与物体接触时，都会产生独特的信号。这些信号由物体表面的机械特性（如硬度）、几何特性（如形状）和化学特性（如材质）产生。Digit 360可以感知振动、温度变化，甚至气味。通过利用这些多样的信号，Digit 360将帮助科学家更详细地了解世界，推动AI的研究。

借助设备上的AI加速器，Digit 360可以快速处理信息，对网球的弯曲或针的戳刺等刺激做出反应。它就像人类和动物的反射弧一样，可以充当机器人的周围神经系统。

除了提高机器人的灵巧性外，Digit 360还在医学和假肢、虚拟现实和远程呈现等领域具有重要的潜在应用。这种新的触觉专用光学镜头可以看到人工指尖周围的印记，捕捉到接触物体表面的细微细节。在虚拟世界中，Digit 360可以更好地实现与环境的虚拟交互，使对象的属性不仅限于视觉外观，还包括触觉感受。

Meta FAIR团队将公开发布所有代码和设计，以便机器人社区在此基础上进行迭代和创新。

三、Digit Plexus：多种传感器集成，打造机器人灵巧手

人手非常擅长向大脑传递从指尖到手掌的触觉信息。这样，手部的肌肉可以根据大脑的指令做出反应，比如如何在键盘上打字或如何处理过热的物体。实现具身AI需要机器人手上的触觉传感器和电机之间也有类似的协调。

Meta FAIR团队提出了一个标准化平台Meta Digit Plexus。该平台提供了一种软硬件解决方案，可以将触觉传感器集成到一只机械手上。Digit Plexus将指尖、手指和手掌上的基于视觉和基于皮肤的触觉传感器（如Digit、Digit 360和触感皮肤ReSkin）连接到控制板中，将所有数据编码到主机。该平台的软件和硬件组件允许通过单根电缆实现无缝数据收集、控制和分析。

▲ Digit Plexus平台将触觉传感器集成到一只机械手上（图源：Meta）

四、Digit 360明年推出，合作产品机器人灵巧手明年上市

为了促进这些新技术的应用，Meta与传感器公司GelSight Inc.和韩国机器人公司Wonik Robotics达成了战略合作。

GelSight Inc.将负责生产和分销Meta Digit 360，预计明年广泛推出。该公司还将通过提案征集活动，为研究者提供早期试用的机会。

Meta FAIR团队还与韩国机器人公司Wonik Robotics合作开发Allegro Hand，这是一款带有触觉传感器的完全集成的机械手。新一代Allegro Hand基于Meta Digit Plexus平台构建，集成了多种触觉传感器，包括Digit 360和ReSkin。这些触觉传感器将提供丰富的触觉数据，帮助机器人更好地感知和操作物体。Wonik Robotics将生产和分销Allegro Hand，该产品将于明年上市。

▲Allegro Hand机器人灵巧手（图源：Allegro Hand）

五、PARTNR：同类产品中最大，助力人机协作训练

随着智能机器人和能够执行日常家务的高级AI模型逐渐成为现实，考虑它们与人类的互动变得尤为重要。Meta FAIR团队发布了humaN-Robot协作（PARTNR），这是一个评估家庭活动中人机协作的规划和推理任务基准。

在实际物理环境中，机器人与人类伙伴一起训练和测试社会化代理既难以规模化，又可能带来安全问题。Habitat 3.0是一个高速、逼真的模拟器，支持机器人和人形机器人，并允许在类似家庭的环境中进行人机协作。Meta FAIR团队通过在Habitat 3.0的基础上开发PARTNR基准测试来解决这个问题，未来的目标是在物理世界场景中进行人机协作测试。

PARTNR是同类产品中最大的基准测试，包括10万个自然语言任务，覆盖60个房屋和5800多个独特对象。该基准测试旨在评估大型语言和视觉模型（LLMs/VLM）在与人类协作时的性能表现。

PARTNR带有几个最先进的LLM基线，这些基线模型用于对比新模型的性能。此外，PARTNR支持在规划、感知和技能执行等多个方面进行系统分析。Meta FAIR团队的评估结果显示，即使是最先进的LLM规划者，在协调、任务跟踪和故障恢复方面仍面临挑战。

将AI模型从简单的“执行者”转变为熟练的“合作伙伴”需要时间。通过提供标准化的基准和数据集，PARTNR能够帮助研究人员开发和测试更先进的AI模型。PARTNR能够使研究人员评估和改进机器人的规划和推理能力，从而使机器人不仅能够独立运行，还能在人类周围高效、可靠地运行，并适应每个人的需求和喜好。

结语：触觉感知与机器人技术的未来

Meta FAIR团队在触觉感知和机器人技术领域取得了新进展，为其具身AI的研究开辟了新的道路。

通过Meta Sparsh，Meta开发了首款通用的触觉编码器，增强了触觉信息的处理能力；Meta Digit 360模拟了人类指尖的多模态感知能力，提供了高精度的触觉数据；Meta Digit Plexus平台实现了多种触觉传感器的无缝集成，提升了机器人手的灵巧度和感知能力。

这些技术的突破在多个产业领域展现出巨大的应用前景。在医疗领域，高精度的触觉传感器可以帮助医生进行远程手术，提高手术的精确性和安全性；在制造业，具备触觉感知能力的机器人可以更好地处理精细和复杂的任务，提高生产效率和质量；在虚拟现实和远程呈现领域，触觉传感器可以提供更真实的沉浸式体验，增强用户的互动感受。

通过与GelSight Inc.和Wonik Robotics的合作，Meta将这些技术推向市场，进一步推动了机器人手在实际应用中的落地和发展。

来源：Meta

Meta公司日前宣布与传感器制造商GelSight及韩国机器人企业WonikRobotics达成战略合作，共同推进新一代触觉传感技术的商业化进程。 这套面向科研领域的创新设备将为科学家提供更精确的物理世界观测与模拟能力。其中，GelSight将推出名为Digit360的新型触觉传感器。该设备配备专业光学系统，能够全方位捕捉指尖表面的形变状况，并通过约18个传感单元实时监测环境变化。

图片来源:Meta
据技术团队介绍，Digit360采用专门研发的光学系统，具备宽视野触觉感知能力。该系统能同时识别物体表面的机械、几何和化学特性，可检测振动、温度变化，甚至气味信息，实现多维度的环境感知。 该设备计划于明年正式发布，目前已开放研究人员提前申请使用权。

图片来源:Meta
在机器人领域，Wonik将推出新一代Allegro Hand机械手，整合Digit360触觉传感技术。这款机械手配备专用控制板，可将触觉数据实时传输至主机系统进行处理，预计同样于明年面市。 这次跨界合作标志着触觉传感技术在科研领域的重要突破，有望为相关领域研究带来新的发展机遇