GNeRF：无需位姿相机的基于 GAN 的神经辐射场
计算机视觉与模式识别
2021-08-19 v3
摘要
我们提出 GNeRF，一种将生成对抗网络（GAN）与神经辐射场（NeRF）重建相结合的框架，用于具有未知甚至随机初始化相机位姿的复杂场景。近期基于 NeRF 的进展因卓越逼真的 novel view synthesis（新视角合成）而受到关注。然而，它们大多严重依赖准确的相机位姿估计，而少数近期方法仅能在相对较短相机轨迹的粗略前向场景中优化未知相机位姿，且需要粗略的相机位姿初始化。不同的是，我们的 GNeRF 仅利用随机初始化的位姿处理复杂的由外向内场景。我们提出一种新颖的两阶段端到端框架。第一阶段将 GAN 用于优化粗略相机位姿与辐射场的新领域并联合优化，而第二阶段利用额外的光度损失对其进行细化。我们使用混合迭代优化方案克服局部极小。在多种合成与自然场景上的大量实验证明了 GNeRF 的有效性。更令人印象深刻的是，我们的方法在那些具有重复图案甚至低纹理、此前被视为极具挑战性的场景中明显优于基线方法。
引用
@article{arxiv.2103.15606,
title = {GNeRF: GAN-based Neural Radiance Field without Posed Camera},
author = {Quan Meng and Anpei Chen and Haimin Luo and Minye Wu and Hao Su and Lan Xu and Xuming He and Jingyi Yu},
journal= {arXiv preprint arXiv:2103.15606},
year = {2021}
}
备注
ICCV 2021 (Oral)