Relit-NeuLF：基于神经 4D 光场的高效重光照与新视角合成
计算机视觉与模式识别
2023-10-24 v1
摘要
在本文中，我们解决从有限数量光源的多视角图像对复杂场景同时进行重光照与新视角合成的问题。我们提出一种称为 Relit-NeuLF 的分析-合成方法。遵循近期的神经 4D 光场网络（NeuLF），Relit-NeuLF 首先利用双平面光场表示在 4D 坐标系中对每条光线进行参数化，从而实现高效学习与推理。随后，我们以自监督方式恢复 3D 场景的空间变化双向反射分布函数（SVBRDF）。一个 DecomposeNet 学习将每条光线映射到其 SVBRDF 分量：反照率、法线与粗糙度。基于分解的 BRDF 分量与条件光照方向，一个 RenderNet 学习合成该光线的颜色。为自监督 SVBRDF 分解，我们利用微表面模型鼓励预测光线颜色接近基于物理的渲染结果。综合实验表明，所提方法在合成数据与真实世界人脸数据上均高效且有效，并优于当前最优（SOTA）结果。我们已在 GitHub 公开代码：https://github.com/oppo-us-research/RelitNeuLF
引用
@article{arxiv.2310.14642,
title = {Relit-NeuLF: Efficient Relighting and Novel View Synthesis via Neural 4D Light Field},
author = {Zhong Li and Liangchen Song and Zhang Chen and Xiangyu Du and Lele Chen and Junsong Yuan and Yi Xu},
journal= {arXiv preprint arXiv:2310.14642},
year = {2023}
}
备注
10 pages