NeRV:用于重光照与视角合成的神经反射率与可见性场
计算机视觉与模式识别
2020-12-08 v1 图形学
摘要
我们提出一种方法,其输入为在已知非受限光照下拍摄的场景图像集合,输出为一种三维表示,该表示可在任意光照条件下从新视角进行渲染。我们的方法将场景表示为由多层感知机(MLP)参数化的连续体积函数,其输入为三维位置,输出为该输入位置处的以下场景属性:体积密度、表面法线、材质参数、任意方向上到首个表面交点的距离,以及任意方向上外部环境的可见性。这些属性共同使我们能够在任意光照下渲染物体的新视角,包括间接光照效果。所预测的可见性与表面相交场对于我们模型在训练期间模拟直接与间接光照的能力至关重要,因为先前工作使用的暴力技术在受控单光源设置之外的光照条件下是不可行的。我们的方法在恢复可重光照三维场景表示方面优于其他方法,并在对先前工作构成重大挑战的复杂光照设置中表现良好。
引用
@article{arxiv.2012.03927,
title = {NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis},
author = {Pratul P. Srinivasan and Boyang Deng and Xiuming Zhang and Matthew Tancik and Ben Mildenhall and Jonathan T. Barron},
journal= {arXiv preprint arXiv:2012.03927},
year = {2020}
}
备注
Project page: https://people.eecs.berkeley.edu/~pratul/nerv