NeRF-Pose：一种先重建后回归的弱监督 6D 物体位姿估计方法
计算机视觉与模式识别
2023-09-12 v2
摘要
单目图像中 3D 物体的位姿估计是计算机视觉中一个基础且长期存在的问题。现有的 6D 位姿估计深度学习方案通常依赖于可用 3D 物体模型与 6D 位姿标注的假设。然而，真实数据中 6D 位姿的精确标注繁琐、耗时且不可扩展，而合成数据虽易扩展却缺乏真实感。为避免这些问题，我们提出一种名为 NeRF-Pose 的弱监督基于重建的流程，其训练仅需 2D 物体分割与已知的相对相机位姿。遵循先重建后回归的思路，我们首先以隐式神经表示的形式从多视图重建物体。然后，训练一个位姿回归网络来预测图像与重建模型之间逐像素的 2D-3D 对应。推理时，该方法仅需单张图像作为输入。采用启用 NeRF 的 PnP+RANSAC 算法从预测的对应中估计稳定且准确的位姿。在 LineMod 与 LineMod-Occlusion 上的实验表明，尽管仅以弱标签训练，所提方法相较最佳 6D 位姿估计方法仍具有最先进的精度。此外，我们为 Homebrewed DB 数据集扩充了更多真实训练图像以支持弱监督任务，并在该数据集上取得引人瞩目的结果。扩充的数据集与代码将很快发布。
引用
@article{arxiv.2203.04802,
title = {NeRF-Pose: A First-Reconstruct-Then-Regress Approach for Weakly-supervised 6D Object Pose Estimation},
author = {Fu Li and Hao Yu and Ivan Shugurov and Benjamin Busam and Shaowu Yang and Slobodan Ilic},
journal= {arXiv preprint arXiv:2203.04802},
year = {2023}
}