AltNeRF:通过深度-位姿交替优化学习鲁棒神经辐射场
计算机视觉与模式识别
2024-02-26 v2
摘要
神经辐射场(NeRF)在从稀疏场景图像生成逼真新视角方面已展现出潜力。然而,现有 NeRF 方法常因缺乏显式 3D 监督与相机位姿不精确而遭遇挑战,导致结果欠佳。为应对这些问题,我们提出 AltNeRF——一种新颖的框架,旨在利用单目视频的自监督单目深度估计(SMDE)创建鲁棒的 NeRF 表示,且不依赖已知相机位姿。AltNeRF 中的 SMDE 巧妙地学习深度与位姿先验以约束 NeRF 训练。深度先验增强了 NeRF 精确描绘场景几何的能力,而位姿先验为后续位姿精修提供了鲁棒的起始点。此外,我们引入一种交替算法,通过一致性驱动机制将 NeRF 输出和谐地融合进 SMDE,从而提升深度先验的完整性。这种交替使 AltNeRF 能够逐步精修 NeRF 表示,生成逼真的新视角合成。大量实验展示了 AltNeRF 在生成高保真且鲁棒、贴近真实的新视角方面的出色能力。
引用
@article{arxiv.2308.10001,
title = {AltNeRF: Learning Robust Neural Radiance Field via Alternating Depth-Pose Optimization},
author = {Kun Wang and Zhiqiang Yan and Huang Tian and Zhenyu Zhang and Xiang Li and Jun Li and Jian Yang},
journal= {arXiv preprint arXiv:2308.10001},
year = {2024}
}
备注
Accepted by AAAI-24