ViHOPE：基于形状补全的视觉触觉手持物体 6D 位姿估计
机器人学
2023-09-12 v1 计算机视觉与模式识别
摘要
在本快报中，我们介绍 ViHOPE，一种利用视觉触觉感知估计手持物体 6D 位姿的新框架。我们的核心见解是，通过显式补全物体形状可提升 6D 物体位姿估计的精度。为此，我们引入一种新颖的视觉触觉形状补全模块，其使用条件生成对抗网络（GAN）基于体素表示补全手持物体形状。该方法优于先前将视觉触觉观测直接回归到 6D 位姿的工作。通过显式补全手持物体形状并联合优化形状补全与位姿估计任务，我们提升了 6D 物体位姿估计的精度。我们在合成数据集上训练并测试模型，并与最先进方法比较。在视觉触觉形状补全任务中，我们以交并比（IoU）指标超越最先进方法 265%，并将倒角距离降低 88%。在视觉触觉位姿估计任务中，我们给出的结果表明本框架将位置与角度误差分别降低 35% 与 64%。此外，我们对框架做消融以确认显式补全形状带来的 6D 物体位姿估计增益。最终，我们展示了框架在真实机器人平台上对仿真到实物的迁移具有鲁棒性。
引用
@article{arxiv.2309.05662,
title = {ViHOPE: Visuotactile In-Hand Object 6D Pose Estimation with Shape Completion},
author = {Hongyu Li and Snehal Dikhale and Soshi Iba and Nawid Jamali},
journal= {arXiv preprint arXiv:2309.05662},
year = {2023}
}
备注
Accepted by RA-L