自监督室外场景重打光

室外场景重打光是一个具有挑战性的问题，需要良好理解场景几何、光照与反照率。当前技术完全依赖于监督，需要高质量合成渲染来训练解决方案。此类渲染是使用从有限数据中学到的先验合成的。相反，我们提出了一种用于重打光的自监督方法。我们的方法仅从互联网收集的图像语料库上训练，无需任何用户监督。这一近乎无穷的训练数据源使得训练一个通用的重打光解决方案成为可能。我们的方法首先将图像分解为反照率、几何与光照。随后通过修改光照参数生成新颖的重打光结果。我们的方案利用专用的阴影预测图捕获阴影，且不依赖于精确的几何估计。我们使用一个带真实重打光的新数据集主观与客观地评估了我们的技术。结果表明我们的技术能够生成照片真实且物理上合理的結果，并可泛化至未见过的场景。