基于极线约束且无需位姿相机的结构感知 NeRF
计算机视觉与模式识别
2022-10-04 v1
摘要
用于逼真新视角合成的神经辐射场（NeRF）需要由运动恢复结构（SfM）方法预先获取相机位姿。这种两阶段策略使用不便，且因位姿提取中的误差会传播至视角合成而导致性能下降。我们将位姿提取与视角合成整合为单一的端到端流程，使二者相互促进。训练 NeRF 模型时，仅给定 RGB 图像，无需预知相机位姿。相机位姿通过极线约束获得，其中不同视角中的同一特征根据提取的位姿从局部相机坐标变换后具有相同的世界坐标。极线约束与像素颜色约束联合优化。位姿由基于 CNN 的深度网络表示，其输入为相关帧。该联合优化使 NeRF 能感知场景结构，从而提升泛化性能。在多种场景上的大量实验证明了所提方法的有效性。代码见 https://github.com/XTU-PR-LAB/SaNerf。
引用
@article{arxiv.2210.00183,
title = {Structure-Aware NeRF without Posed Camera via Epipolar Constraint},
author = {Shu Chen and Yang Zhang and Yaxin Xu and Beiji Zou},
journal= {arXiv preprint arXiv:2210.00183},
year = {2022}
}