通过重投影的射线先验：改进神经辐射场在新视角外推中的表现
计算机视觉与模式识别
2022-05-13 v1
摘要
神经辐射场（NeRF）已成为一种表示场景并合成照片级真实感图像的有力范式。传统 NeRF 的一个主要局限是，在显著异于训练视角的新视角下，它们往往无法生成高质量渲染结果。本文不利用少样本图像合成，而是研究新视角外推设定：（1）训练图像能充分描述一个物体，（2）训练与测试视角分布之间存在明显差异。我们提出 RapNeRF（RAy Priors，射线先验）作为解决方案。我们的见解是，一个 3D 表面任意可见投影的固有外观应当一致。因此我们提出随机射线投射策略，允许用可见视角训练不可见视角。此外，我们表明由已观测射线的视角方向预计算的射线图集可进一步提升外推视角的渲染质量。一个主要局限是，由于利用了多视角一致性属性，RapNeRF 会去除强烈的视角相关效应。
引用
@article{arxiv.2205.05922,
title = {Ray Priors through Reprojection: Improving Neural Radiance Fields for Novel View Extrapolation},
author = {Jian Zhang and Yuanqing Zhang and Huan Fu and Xiaowei Zhou and Bowen Cai and Jinchi Huang and Rongfei Jia and Binqiang Zhao and Xing Tang},
journal= {arXiv preprint arXiv:2205.05922},
year = {2022}
}