TwinTrack：连接视觉与接触物理学以实现富接触场景中未知物体的实时跟踪
机器人学
2026-03-19 v2
摘要
在富接触场景中（例如灵巧手内操作过程中）对先前未见的高度动态物体进行实时跟踪仍是一项重大挑战。纯视觉方法在频繁的接触交互与突发冲击引起的运动模糊导致的严重遮挡下常常失效。我们提出 TwinTrack，一种物理感知感知系统，通过利用接触物理学线索实现富接触场景中未知动态物体的鲁棒实时六自由度位姿跟踪。其核心在于，TwinTrack 集成了 Real2Sim 与 Sim2Real。Real2Sim 结合视觉与接触物理学，联合估计物体几何与物理属性：从视觉获取初始重建，随后通过学习几何残差并基于接触动力学一致性同时估计物理参数（如质量、惯性与摩擦）进行细化。Sim2Real 通过自适应融合视觉跟踪器与来自更新后接触动力学的预测，实现鲁棒的位姿估计。TwinTrack 在 GPU 加速的定制 MJX 引擎上实现，以保证实时性能。我们在两个富接触场景下评估了该方法：带环境接触的物体下落与多指手内操作。结果表明，与基线相比，TwinTrack 在这些具有挑战性的场景中提供了显著更鲁棒、更准确且实时的跟踪，跟踪速度超过 20 Hz。项目页面：https://irislab.tech/TwinTrack-webpage/
引用
@article{arxiv.2505.22882,
title = {TwinTrack: Bridging Vision and Contact Physics for Real-Time Tracking of Unknown Objects in Contact-Rich Scenes},
author = {Wen Yang and Zhixian Xie and Yiting Wang and Abhijit Tadepalli and Heni Ben Amor and Shan Lin and Wanxin Jin},
journal= {arXiv preprint arXiv:2505.22882},
year = {2026}
}
备注
Accepted by IEEE International Conference on Robotics & Automation (ICRA) 2026