基于伪深度与融合改进的神经辐射场
计算机视觉与模式识别
2023-08-09 v1 人工智能
图形学
机器学习
图像与视频处理
摘要
自神经辐射场(NeRF)问世以来，新视角合成受到了极大关注。现有的辐射场重建泛化方法主要从邻近源图像构建编码体作为额外输入。然而，这些方法无法有效编码具有不同尺度物体/结构的真实场景的几何信息。在本工作中，我们提出构建多尺度编码体并向NeRF模型提供多尺度几何信息。为使构建的体尽可能接近场景中物体表面且渲染深度更准确，我们提出同时执行深度预测与辐射场重建。预测的深度图将用于监督渲染深度、缩小深度范围并引导点采样。最后，由于点体特征中的几何信息可能因遮挡、光照等而不准确，为此我们提出通过深度引导的邻域特征融合来增强点体特征。实验表明，我们的方法在无需逐场景优化的情况下，在新视角合成与稠密几何建模上均具有优越性能。
引用
@article{arxiv.2308.03772,
title = {Improved Neural Radiance Fields Using Pseudo-depth and Fusion},
author = {Jingliang Li and Qiang Zhou and Chaohui Yu and Zhengda Lu and Jun Xiao and Zhibin Wang and Fan Wang},
journal= {arXiv preprint arXiv:2308.03772},
year = {2023}
}