UP-NeRF：无约束无位姿先验的神经辐射场

神经辐射场（NeRF）在给定图像与相机位姿的情况下已实现高保真的新视角合成。后续工作甚至通过联合优化 NeRF 与相机位姿，成功消除了对位姿先验的需求。然而，这些工作局限于相对简单的设定，例如光度一致且无遮挡物的图像集合或来自视频的图像序列，因而难以处理具有变化光照与瞬态遮挡物的无约束图像。本文提出 $\textbf{UP-NeRF}$（$\textbf{U}$nconstrained $\textbf{P}$ose-prior-free $\textbf{Ne}$ural $\textbf{R}$adiance $\textbf{F}$ields），以在无相机位姿先验的情况下用无约束图像集合优化 NeRF。我们通过对颜色不敏感的特征场以及用于瞬态遮挡物、阻断其对位姿估计影响的独立模块进行代理任务来应对这些挑战。此外，我们引入一个候选头以实现更鲁棒的位姿估计，并提出瞬态感知的深度监督以最小化不正确先验的影响。我们的实验验证了相较包括 BARF 及其变体在内的基线方法，本方法在具有挑战性的互联网照片集合 $\textit{Phototourism}$ 数据集上的优越性能。