ViTaSCOPE：用于手内姿态与外在接触估计的视觉-触觉隐式表示
机器人学
2025-06-17 v1 计算机视觉与模式识别
摘要
掌握灵巧、接触丰富的物体操作需要精确估计手中物体姿态和外部接触位置——这些任务由于部分观测和噪声观测而尤为困难。我们提出ViTaSCOPE：视觉-触觉同时接触与物体姿态估计，一种以物体为中心的神经隐式表示，融合视觉与高分辨率触觉反馈。通过将物体表示为有符号距离场、将分布式触觉反馈表示为神经剪切场，ViTaSCOPE能够精确定位物体并将外在接触注册到其三维几何上的接触场。我们的方法通过利用仿真进行可扩展训练以及通过弥合仿真到真实差距实现零样本迁移至真实世界，从而实现对互补视觉-触觉线索的无缝推理。我们通过全面的仿真和真实世界实验评估了该方法，证明了其在灵巧操作场景中的能力。
引用
@article{arxiv.2506.12239,
title = {ViTaSCOPE: Visuo-tactile Implicit Representation for In-hand Pose and Extrinsic Contact Estimation},
author = {Jayjun Lee and Nima Fazeli},
journal= {arXiv preprint arXiv:2506.12239},
year = {2025}
}
备注
Accepted to RSS 2025 | Project page: https://jayjunlee.github.io/vitascope/