用于重光照与视角合成的神经光传输
计算机视觉与模式识别
2021-01-21 v3 图形学
摘要
场景的光传输(LT)描述了其在不同光照和视角方向下的外观，而对场景LT的完整认知能够实现任意光照下新视角的合成。本文主要关注基于图像的光传输获取，尤其是光照舞台(light stage)设置下的人体。我们提出一种半参数方法，学习嵌入在已知几何属性纹理图集空间中的LT神经表示，并将所有非漫反射和全局LT建模为添加到物理精确漫反射基础渲染上的残差。具体而言，我们展示了如何融合先前已观测到的光源和视角，从选定视点合成同一场景在期望光照条件下的新图像。该策略使网络能够学习复杂材质效应（如次表面散射）和全局光照，同时保证漫反射LT（如硬阴影）的物理正确性。利用该学习到的LT，可以用方向光或HDRI地图对场景进行真实感重光照，合成具有视角相关效应的新视角，或在同一统一框架中利用一组稀疏的先前观测同时完成两者。定性与定量实验表明，我们的神经LT(NLT)在重光照和视角合成上优于SOTA方案，且无需像先前工作那样对两个问题分别处理。
引用
@article{arxiv.2008.03806,
title = {Neural Light Transport for Relighting and View Synthesis},
author = {Xiuming Zhang and Sean Fanello and Yun-Ta Tsai and Tiancheng Sun and Tianfan Xue and Rohit Pandey and Sergio Orts-Escolano and Philip Davidson and Christoph Rhemann and Paul Debevec and Jonathan T. Barron and Ravi Ramamoorthi and William T. Freeman},
journal= {arXiv preprint arXiv:2008.03806},
year = {2021}
}
备注
Camera-ready version for TOG 2021. Project Page: http://nlt.csail.mit.edu/