神经光线追踪:学习表面与反射率以实现重光照与视角合成
计算机视觉与模式识别
2021-12-07 v2
摘要
近期的神经渲染方法已通过神经网络预测体密度与颜色实现了精确的视角插值。尽管此类体表示可在静态与动态场景上受监督,现有方法将完整场景光传输隐式烘焙进给定场景的单一神经网络中,包括表面建模、双向散射分布函数(BSDF)与间接光照效果。与传统渲染管线相反,这禁止了改变表面反射率、光照或在场景中组合其他物体。本工作中,我们显式建模场景表面间的光传输,并依赖传统积分方案与渲染方程来重建场景。所提方法允许在未知光照条件下进行BSDF恢复以及路径追踪等经典光传输。通过学习基于传统渲染方法建立的带有表面表示的分解传输,该方法自然便于编辑形状、反射率、光照与场景组合。该方法在已知光照条件下的重光照上优于NeRV,并为重光照与编辑后的场景生成逼真重建。我们在NeRV数据集子集上基于合成与采集视角验证了所提方法在场景编辑、重光照与反射率估计上的有效性。
引用
@article{arxiv.2104.13562,
title = {Neural Ray-Tracing: Learning Surfaces and Reflectance for Relighting and View Synthesis},
author = {Julian Knodt and Joe Bartusek and Seung-Hwan Baek and Felix Heide},
journal= {arXiv preprint arXiv:2104.13562},
year = {2021}
}
备注
10 pages, 9 figures