NeLF:用于人像视角合成与重打光的神经光传输场
计算机视觉与模式识别
2021-07-27 v1 图形学
摘要
人像在不同视角和不同光照条件下观察时会呈现不同外观。我们可以轻易想象面部在另一种设置下的样子,但计算机算法在观测有限的情况下仍无法解决此问题。为此,我们提出一个用于人像视角合成与重打光的系统:给定多张人像,我们使用神经网络预测三维空间中的光传输场,并依据预测出的神经光传输场(NeLF)在新相机视角和新环境光照下生成人像。我们的系统在大批合成模型上训练,并能泛化到不同光照条件下的不同合成与真实人像。我们的方法以多视角人像作为输入,实现同步的视角合成与重打光,并取得了最先进(SOTA)的结果。
引用
@article{arxiv.2107.12351,
title = {NeLF: Neural Light-transport Field for Portrait View Synthesis and Relighting},
author = {Tiancheng Sun and Kai-En Lin and Sai Bi and Zexiang Xu and Ravi Ramamoorthi},
journal= {arXiv preprint arXiv:2107.12351},
year = {2021}
}
备注
Published at EGSR 2021. Project page with video and code: http://cseweb.ucsd.edu/~viscomp/projects/EGSR21NeLF/