从单幅图像对室内场景进行神经逆渲染
计算机视觉与模式识别
2019-09-17 v3
摘要
逆渲染旨在从图像中估计场景的物理属性，例如反射率、几何与光照。逆渲染此前主要针对于单个物体，或仅求解场景某一属性的方法进行研究。我们提出首个基于学习的方法，从单幅图像联合估计室内场景的反射率、法线与光照。我们的关键贡献是残差表观渲染器（RAR），可经训练合成复杂的表观效应（如互反射、投射阴影、近场光照与真实着色），否则这些效应将被忽略。这使我们能够利用重建损失在真实数据上执行自监督学习，该损失基于从估计分量重新合成输入图像。我们在合成数据预训练后使用真实数据进行微调。为此，我们使用基于物理的渲染创建大规模合成数据集，相较先前数据集有显著改进。实验结果表明，我们的方法优于估计一个或多个场景属性的现有最优方法。
引用
@article{arxiv.1901.02453,
title = {Neural Inverse Rendering of an Indoor Scene from a Single Image},
author = {Soumyadip Sengupta and Jinwei Gu and Kihwan Kim and Guilin Liu and David W. Jacobs and Jan Kautz},
journal= {arXiv preprint arXiv:1901.02453},
year = {2019}
}