用于手中物体本体感知六维位姿估计的层次图神经网络
机器人学
2023-06-29 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
机器人操作，特别是手中物体操作，通常需要对物体的六维位姿进行准确估计。为提高估计位姿的准确性，六维物体位姿估计的最先进方法使用来自一种或多种模态的观测数据，例如RGB图像、深度和触觉读数。然而，现有方法对这些模态所捕获的物体底层几何结构利用有限，从而增加了对视觉特征的依赖。这导致在呈现缺乏此类视觉特征的物体或视觉特征被遮挡时性能不佳。此外，当前方法未利用嵌入在手指位置中的本体感知信息。为解决这些局限，本文中：(1)我们引入一种层次图神经网络架构来结合多模态（视觉与触觉）数据，从而实现几何知情的六维物体位姿估计；(2)我们引入一种层次消息传递操作，在模态内和跨模态流动信息以学习基于图的物体表示；(3)我们引入一种考虑手中物体表示的本体感知信息的方法。我们在YCB物体与模型集的多样化子集上评估我们的模型，并表明我们的方法在准确性和对遮挡的鲁棒性上大幅优于现有最先进工作。我们还将所提框架部署在真实机器人上，并定性地展示了向真实环境的成功迁移。
引用
@article{arxiv.2306.15858,
title = {Hierarchical Graph Neural Networks for Proprioceptive 6D Pose Estimation of In-hand Objects},
author = {Alireza Rezazadeh and Snehal Dikhale and Soshi Iba and Nawid Jamali},
journal= {arXiv preprint arXiv:2306.15858},
year = {2023}
}