基于特征合成的绝对姿态回归神经精化
计算机视觉与模式识别
2024-03-04 v2
摘要
绝对姿态回归（APR）方法使用深度神经网络直接从 RGB 图像回归相机姿态。然而，主流的 APR 架构在推理时仅依赖 2D 操作，由于缺乏 3D 几何约束或先验，导致姿态估计精度有限。在本工作中，我们提出一种测试时精化流程，利用鲁棒特征场中的隐式几何约束来增强 APR 方法在推理时使用 3D 信息的能力。我们还引入一种新颖的神经特征合成器（NeFeS）模型，该模型在训练时编码 3D 几何特征，并在测试时直接渲染密集新视角特征以精化 APR 方法。为增强模型的鲁棒性，我们引入了特征融合模块和渐进式训练策略。我们提出的方法在室内和室外数据集上取得了最先进的单图像 APR 精度。
引用
@article{arxiv.2303.10087,
title = {Neural Refinement for Absolute Pose Regression with Feature Synthesis},
author = {Shuai Chen and Yash Bhalgat and Xinghui Li and Jiawang Bian and Kejie Li and Zirui Wang and Victor Adrian Prisacariu},
journal= {arXiv preprint arXiv:2303.10087},
year = {2024}
}
备注
Paper Accepted by CVPR 2024. Project Page: http://nefes.active.vision. Code will be released at https://github.com/ActiveVisionLab/NeFeS