基于隐式位姿正则化的无位姿神经辐射场
计算机视觉与模式识别
2023-08-30 v1
摘要
无位姿神经辐射场（NeRF）旨在利用无位姿的多视角图像训练 NeRF，近年来取得了令人瞩目的成功。大多数现有工作遵循这样的流程：先用渲染图像训练一个粗位姿估计器，随后对估计位姿与神经辐射场进行联合优化。然而，由于位姿估计器仅用渲染图像训练，因真实图像与渲染图像之间存在域差距，其对真实图像的位姿估计通常有偏或不准确，导致对真实图像位姿估计的鲁棒性差，并在联合优化中陷入局部极小。我们设计了 IR-NeRF，一种引入隐式位姿正则化以利用无位姿真实图像精炼位姿估计器、提升真实图像位姿估计鲁棒性的创新无位姿 NeRF。对于给定的特定场景的一组 2D 图像，IR-NeRF 构建存储场景特征并隐式捕获场景特定位姿分布作为先验的场景码本。因此，依据“仅当估计位姿位于位姿分布内时，2D 真实图像才能从场景码本中良好重建”这一原理，位姿估计的鲁棒性可借助场景先验得到提升。大量实验表明，IR-NeRF 在新视角合成上表现优越，并在多个合成与真实数据集上持续优于当前最优方法（SOTA）。
引用
@article{arxiv.2308.15049,
title = {Pose-Free Neural Radiance Fields via Implicit Pose Regularization},
author = {Jiahui Zhang and Fangneng Zhan and Yingchen Yu and Kunhao Liu and Rongliang Wu and Xiaoqin Zhang and Ling Shao and Shijian Lu},
journal= {arXiv preprint arXiv:2308.15049},
year = {2023}
}
备注
Accepted by ICCV2023