从球面全景图进行深度光照环境图估计
计算机视觉与模式识别
2020-05-19 v1 图形学
摘要
在真实环境中合成虚拟内容时，估计场景光照是一项非常重要的任务，在混合现实与后期制作中有应用。在本工作中，我们提出一个数据驱动模型，从单张 LDR 单目球面全景图估计 HDR 光照环境图。除了是一个具有挑战性且不适定的问题外，光照估计任务还苦于缺乏便利的照明真值数据，这一事实阻碍了数据驱动方法的适用性。我们以不同方式处理该问题，利用表面几何的可用性，采用基于图像的重新打光作为数据生成器与监督机制。这依赖于一个全局朗伯假设，帮助我们克服与预烘焙光照相关的问题。我们对训练数据重新打光，并以基于图像的微分重打光技术启用光度损失，补充模型的监督。最后，由于我们预测球面谱系数，我们展示通过对预测系数施加分布先验，可大幅提升性能。代码与模型见 https://vcl3d.github.io/DeepPanoramaLighting。
引用
@article{arxiv.2005.08000,
title = {Deep Lighting Environment Map Estimation from Spherical Panoramas},
author = {Vasileios Gkitsas and Nikolaos Zioulis and Federico Alvarez and Dimitrios Zarpalas and Petros Daras},
journal= {arXiv preprint arXiv:2005.08000},
year = {2020}
}
备注
Code and models available at https://vcl3d.github.io/DeepPanoramaLighting