DPODv2:基于密集对应关系的 6 自由度位姿估计
计算机视觉与模式识别
2022-07-07 v1
摘要
我们提出了一种名为 DPODv2 (Dense Pose Object Detector) 的三阶段 6 自由度物体检测方法,该方法依赖于密集对应关系。我们将 2D 物体检测器、密集对应估计网络和多视图位姿细化方法相结合,以估计完整的 6 自由度位姿。与其他通常局限于单目 RGB 图像的深度学习方法不同,我们提出了一个统一的深度学习网络,允许使用不同的成像模态(RGB 或 Depth)。此外,我们提出了一种基于可微渲染的新型位姿细化方法。其核心思想是在多个视图中比较预测的对应关系与渲染的对应关系,以获得与所有视图中预测对应关系相一致的位姿。我们在受控设置下对不同数据模态和训练数据类型进行了严格评估。主要结论是:RGB 在对应估计方面表现出色,而如果有良好的 3D-3D 对应关系,深度信息有助于提高位姿精度。自然地,两者的结合实现了总体最佳性能。我们进行了广泛的评估和消融研究,以在多个具有挑战性的数据集上分析和验证结果。DPODv2 在所有数据集上均取得了优异的结果,同时无论使用何种数据模态和训练数据类型,依然保持了快速和可扩展性。
引用
@article{arxiv.2207.02805,
title = {DPODv2: Dense Correspondence-Based 6 DoF Pose Estimation},
author = {Ivan Shugurov and Sergey Zakharov and Slobodan Ilic},
journal= {arXiv preprint arXiv:2207.02805},
year = {2022}
}