利用触觉感知增强手持物体的泛化性6D位姿跟踪
计算机视觉与模式识别
2023-12-27 v2 机器人学
摘要
当操纵物体以完成复杂任务时，人类依赖视觉和触觉来跟踪物体的6D位姿。然而，机器人中大多数现有的物体位姿跟踪系统仅依赖视觉信号，这阻碍了机器人有效操纵物体的能力。为应对此局限，我们引入TEG-Track，一种触觉增强的6D位姿跟踪系统，可跟踪手中持有的先前未见过的物体。根据连续触觉信号，TEG-Track在无滑移时通过标记流优化物体速度，或在检测到滑移时使用滑移估计网络回归速度。估计的物体速度被集成到几何-运动学优化方案中，以增强现有的视觉位姿跟踪器。为评估我们的方法并促进未来研究，我们构建了用于视觉-触觉手持物体位姿跟踪的真实世界数据集。实验结果表明，TEG-Track在合成和真实场景中都持续增强了最先进的泛化性6D位姿跟踪器。我们的代码和数据集可在 https://github.com/leolyliu/TEG-Track 获取。
引用
@article{arxiv.2210.04026,
title = {Enhancing Generalizable 6D Pose Tracking of an In-Hand Object with Tactile Sensing},
author = {Yun Liu and Xiaomeng Xu and Weihang Chen and Haocheng Yuan and He Wang and Jing Xu and Rui Chen and Li Yi},
journal= {arXiv preprint arXiv:2210.04026},
year = {2023}
}