MegaPose：基于渲染与比对的新颖物体6D姿态估计
计算机视觉与模式识别
2022-12-15 v1 机器人学
摘要
我们提出 MegaPose，一种估计新颖物体（即训练时未见的物体）6D姿态的方法。在推理时，该方法仅假设已知（i）图像中显示该物体的感兴趣区域，以及（ii）被观测物体的CAD模型。本工作的贡献有三方面。首先，我们提出一种基于渲染与比对（render&compare）策略的6D姿态优化器，可应用于新颖物体。新颖物体的形状与坐标系通过渲染该物体CAD模型的多个合成视图作为网络输入提供。其次，我们提出一种新颖的粗姿态估计方法，利用一个经训练的网络来分类同一物体的合成渲染与观测图像之间的姿态误差是否可被优化器修正。第三，我们引入一个大规模合成数据集，包含具有多样视觉与形状属性的数千物体的照片级真实感图像，并表明这种多样性对于在新颖物体上获得良好泛化性能至关重要。我们在该大规模合成数据集上训练本方法，并无须重训练地将其应用于来自多个姿态估计基准的数百个真实图像中的新颖物体。我们的方法在 ModelNet 和 YCB-Video 数据集上达到最先进性能。对 BOP 挑战的7个核心数据集的广泛评估表明，我们的方法取得了与那些训练时需访问目标物体的现有方法相竞争的性能。代码、数据集与训练模型可在项目页获取：https://megapose6d.github.io/。
引用
@article{arxiv.2212.06870,
title = {MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare},
author = {Yann Labbé and Lucas Manuelli and Arsalan Mousavian and Stephen Tyree and Stan Birchfield and Jonathan Tremblay and Justin Carpentier and Mathieu Aubry and Dieter Fox and Josef Sivic},
journal= {arXiv preprint arXiv:2212.06870},
year = {2022}
}
备注
CoRL 2022