特定刚性物体的位姿估计
摘要
在本论文中，我们解决了从单张 RGB 或 RGB-D 输入图像估计刚性物体 6D 位姿的问题，假设物体的三维模型可用。该问题对机器人操控、增强现实和自动驾驶等许多应用领域都十分重要。首先，我们提出 EPOS，一种从 RGB 图像进行 6D 物体位姿估计的方法。其核心思想是用紧凑的表面片段表示物体，并通过神经网络预测输入图像每个像素处对应片段的概率分布。每个像素与数据依赖数量的片段相连，从而可系统地处理对称性，并通过基于 RANSAC 的拟合方法从链接中估计 6D 位姿。EPOS 在多个标准数据集上优于所有 RGB 方法以及大多数 RGB-D 和 D 方法。其次，我们提出 HashMatch，一种 RGB-D 方法，它在输入图像上滑动窗口并搜索与模板的匹配，这些模板通过在不同朝向下渲染三维物体模型预先生成。该方法对每个窗口位置应用级联的评估阶段，从而避免与所有模板的穷举匹配。第三，我们提出 ObjectSynth，一种合成三维物体模型照片级真实感图像以训练基于神经网络方法的方法。与常用的在随机照片上渲染物体的图像相比，这些图像带来了显著改进。第四，我们引入 T-LESS，首个用于 6D 物体位姿估计的数据集，包含工业相关物体的三维模型和 RGB-D 图像。第五，我们定义 BOP，一个捕捉该领域现状的基准。BOP 包含统一格式的十一个数据集、一种评估方法、一个在线评估系统，以及在 ICCV 和 ECCV 会议组织的国际研讨会上举办的公开挑战赛。
引用
@article{arxiv.2112.15075,
title = {Pose Estimation of Specific Rigid Objects},
author = {Tomas Hodan},
journal= {arXiv preprint arXiv:2112.15075},
year = {2022}
}
备注
Tomas Hodan's PhD thesis defended on July 7, 2021. Supervisor: Prof. Jiri Matas. Reviewers: Prof. Vincent Lepetit, Prof. Markus Vincze, Dr. Slobodan Ilic. A recording of the defense: https://youtu.be/WAQmubEXCRM