基于深度感知优化改进神经辐射场以实现新视角合成
计算机视觉与模式识别
2024-02-21 v2
摘要
在密集输入下，神经辐射场（NeRF）能够在静态条件下渲染出照片级真实感的新视角。尽管合成质量优异，现有基于 NeRF 的方法未能获得适度的三维（3D）结构。由于隐式重建的 3D 场景结构不准确，在稀疏输入下新视角合成质量急剧下降。我们提出 SfMNeRF，一种更好地合成新视角并重建 3D 场景几何的方法。SfMNeRF 利用自监督深度估计方法的知识，在视角合成训练过程中约束 3D 场景几何。具体而言，SfMNeRF 采用极线、光度一致性、深度平滑性和匹配点位置约束来显式重建 3D 场景结构。通过这些显式约束以及来自 NeRF 的隐式约束，我们的方法同时提升了 NeRF 的视角合成与 3D 场景几何性能。此外，SfMNeRF 合成新的子像素，其真值通过图像插值获得。该策略使 SfMNeRF 能包含更多样本以提升泛化性能。在两个公开数据集上的实验表明，SfMNeRF 超越了当前最优（SOTA）方法。代码见 https://github.com/XTU-PR-LAB/SfMNeRF
引用
@article{arxiv.2304.05218,
title = {Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis},
author = {Shu Chen and Junyao Li and Yang Zhang and Beiji Zou},
journal= {arXiv preprint arXiv:2304.05218},
year = {2024}
}