基于稀疏输入视图的神经辐射场稠密深度先验
计算机视觉与模式识别
2022-04-08 v2
摘要
神经辐射场(NeRF)将场景编码为一种神经表示，能够实现照片级真实感的新视角渲染。然而，从RGB图像成功重建需要在静态条件下拍摄的大量输入视图——对于房间尺寸的场景通常多达数百张图像。我们的方法旨在以少一个数量级的图像合成整个房间的新视角。为此，我们利用稠密深度先验来约束NeRF优化。首先，我们利用从用于估计相机位姿的运动恢复结构(SfM)预处理步骤中自由获得的稀疏深度数据。其次，我们使用深度补全将这些稀疏点转换为稠密深度图及不确定性估计，用于引导NeRF优化。我们的方法在使用少至18张图像覆盖整个场景的情况下，实现了对具有挑战性的室内场景的数据高效新视角合成。
引用
@article{arxiv.2112.03288,
title = {Dense Depth Priors for Neural Radiance Fields from Sparse Input Views},
author = {Barbara Roessle and Jonathan T. Barron and Ben Mildenhall and Pratul P. Srinivasan and Matthias Nießner},
journal= {arXiv preprint arXiv:2112.03288},
year = {2022}
}
备注
CVPR 2022, project page: https://barbararoessle.github.io/dense_depth_priors_nerf/ , video: https://youtu.be/zzkvvdcvksc