复杂室内场景的逆渲染：从单张图像恢复形状、空间变化光照与空间变化双向反射分布函数
计算机视觉与模式识别
2019-05-09 v1
摘要
我们提出了一种面向室内场景的深度逆渲染框架。从任意室内场景的一张RGB图像出发，我们建立完整的场景重建，估计形状、空间变化光照以及空间变化的非朗伯表面反射率。为训练该网络，我们用真实世界材质扩充SUNCG室内场景数据集，并使用快速、高质量、基于物理的GPU渲染器进行渲染，以创建一个大规模、照片级真实的室内数据集。我们的逆渲染网络融入了物理洞察——包括空间变化的球面高斯光照表示、用于建模场景外观的可微渲染层、用于迭代细化预测级联结构以及用于细化的双边求解器——使我们能够联合推断形状、光照与反射率。实验表明，我们的框架在估计单个场景分量上优于以往方法，这也支持了增强现实的多种新颖应用，如照片级真实物体插入与材质编辑。代码与数据将公开提供。
引用
@article{arxiv.1905.02722,
title = {Inverse Rendering for Complex Indoor Scenes: Shape, Spatially-Varying Lighting and SVBRDF from a Single Image},
author = {Zhengqin Li and Mohammad Shafiei and Ravi Ramamoorthi and Kalyan Sunkavalli and Manmohan Chandraker},
journal= {arXiv preprint arXiv:1905.02722},
year = {2019}
}