Wild 场景下的触觉感知：面向可穿戴视觉-触觉夹爪的精细操作学习

手持式夹爪因其易于部署和多功能性而日益用于收集人类演示，但大多数现有设计缺乏触觉感知，尽管触觉反馈在精确操作中起着关键作用。我们提出了一种集成触觉传感器的便携式轻量级夹爪，使其能够在多样化、真实世界和野生环境中同步收集视觉和触觉数据。基于该硬件，我们提出了一种跨模态表征学习框架，将视觉和触觉信号集成，同时保留其独特特征。学习过程允许可解释表征的出现，这些表征始终聚焦于与物理交互相关的接触区域。当用于下游操作任务时，这些表征能够实现更高效、更有效的策略学习，支持基于多模态反馈的精确机器人操作。我们在 test tube 插入和基于移液器的液体转移等精细操作任务上对方法进行了验证，展示了在外部干扰下的提高的精度和鲁棒性。我们的项目页面位于 https://binghao-huang.github.io/touch_in_the_wild/。