ToolEENet: 工具功能6D姿态估计
机器人学
2024-09-13 v2
摘要
利用工具的机器人灵巧手的研究最近引起了广泛关注。该领域的一个重大挑战是在抓取时精确感知工具的位姿，因为手的遮挡常常降低估计质量。此外，工具的整体位姿往往不能准确表示接触交互，从而限制了视觉引导、接触依赖活动的有效性。为了克服这一限制，我们提出了创新的TOOLEE数据集，据我们所知，这是第一个包含工具末端执行器（EE）的功能分割以及基于其使用定义的6D位姿的数据集。此外，我们提出了ToolEENet框架，用于工具EE的精确6D位姿估计。该框架首先从原始RGBD数据中分割工具EE，然后使用基于扩散模型的位姿估计器在类别特定级别进行6D位姿估计。针对位姿估计中的对称性问题，我们引入了一种对称感知的位姿表示，增强了位姿估计的一致性。我们的方法在该领域表现出色，具有高精度和泛化能力。此外，它在基于接触的操作场景中显示出巨大的应用前景。所有数据和代码可在项目网站获取：https://tooleenet-iros2024.github.io/
引用
@article{arxiv.2404.04193,
title = {ToolEENet: Tool Affordance 6D Pose Estimation},
author = {Yunlong Wang and Lei Zhang and Yuyang Tu and Hui Zhang and Kaixin Bai and Zhaopeng Chen and Jianwei Zhang},
journal= {arXiv preprint arXiv:2404.04193},
year = {2024}
}