FingerEye：用于灵巧操作的连续统一视觉-触觉传感
机器人学
2026-04-24 v2
摘要
灵巧的机器人操作需要在交互的所有阶段（接触前、接触起始和接触后）进行全面感知。这种连续的反馈使机器人能够在整个交互过程中调整其动作。然而，许多现有的触觉传感器，如 GelSight 及其变体，仅在建立接触后才提供反馈，这限制了机器人精确启动接触的能力。我们引入了 FingerEye，一种紧凑且成本效益高的传感器，可在整个交互过程中提供连续的视觉-触觉反馈。FingerEye 集成了双目 RGB 摄像头，以提供具有隐式立体深度的近距离视觉感知。一旦接触，外部力和力矩会使一个柔顺的环状结构发生形变；这些形变通过基于标记的位姿估计捕获，并作为接触力旋量传感的代理。这种设计实现了一个从接触前视觉线索平滑过渡到接触后触觉反馈的感知流。基于这种传感能力，我们开发了一种视觉-触觉模仿学习策略，该策略融合来自多个 FingerEye 传感器的信号，以从有限的真实世界数据中学习灵巧操作行为。我们进一步开发了传感器和机器人平台的数字孪生，以提高策略的泛化能力。通过将真实演示与视觉增强的模拟观测相结合进行表征学习，学习到的策略对物体外观变化更加鲁棒。这些设计方面共同实现了跨不同物体属性和交互模式的灵巧操作，包括立硬币、拾取芯片、取信和注射器操作。硬件设计、代码、附录和视频可在我们的项目网站上获取：https://nus-lins-lab.github.io/FingerEyeWeb/
引用
@article{arxiv.2604.20689,
title = {FingerEye: Continuous and Unified Vision-Tactile Sensing for Dexterous Manipulation},
author = {Zhixuan Xu and Yichen Li and Xuanye Wu and Tianyu Qiu and Lin Shao},
journal= {arXiv preprint arXiv:2604.20689},
year = {2026}
}