通过稀疏视图增强神经辐射场的深度与法线完成先验
计算机视觉与模式识别
2024-07-09 v1
摘要
神经辐射场（NeRF）是一种通过神经网络模型学习场景信息，以创建高度逼真图像的先进技术。然而，NeRF 在图像数量不足时常常会遇到问题，导致准确渲染视图存在困难。其主要问题在于NeRF缺乏足够的结构细节来准确指导渲染过程。为此，我们提出了一种用于NeRF的深度与法线稠密完成先验（Depth and Normal Dense Completion Priors for NeRF，简称CP_NeRF）框架。该框架通过向NeRF优化过程中添加深度和法线稠密完成先验，来增强视图渲染。在优化NeRF之前，我们利用Structure from Motion（SfM）技术获取稀疏深度图（该技术用于获取相机位姿）。基于稀疏深度图和法线估计器，我们生成稀疏法线图，以便在训练时使用精确的标准差进行法线完成先验的训练。在优化过程中，我们应用深度和法线完成先验，将稀疏数据转换为带有其标准差的稠密深度图和法线图。我们利用这些稠密图指导光线采样，辅助距离采样，并构建法线损失函数以提高训练准确性。为提高NeRF法线输出的渲染质量，我们引入了光学中心位置嵌入器，通过体渲染合成更准确的法线。此外，我们采用法线块匹配技术选择准确的渲染法线图，确保模型获得更精确的监督。我们的方法在输入视图有限的情况下，优于领先技术，能够渲染出详细的室内场景。
引用
@article{arxiv.2407.05666,
title = {Enhancing Neural Radiance Fields with Depth and Normal Completion Priors from Sparse Views},
author = {Jiawei Guo and HungChyun Chou and Ning Ding},
journal= {arXiv preprint arXiv:2407.05666},
year = {2024}
}