StyleLight：用于光照估计与编辑的 HDR 全景生成
计算机视觉与模式识别
2022-08-01 v1 机器学习
摘要
我们提出一种新的光照估计与编辑框架，从低动态范围（LDR）相机捕获的单一有限视场（LFOV）图像生成高动态范围（HDR）室内全景光照。现有光照估计方法要么直接回归光照表示参数，要么将该问题分解为 LFOV 到全景及 LDR 到 HDR 光照生成子任务。然而，由于部分观测、高动态范围光照以及场景内在模糊性，光照估计仍具挑战。为应对此问题，我们提出耦合双 StyleGAN 全景合成网络（StyleLight），将 LDR 与 HDR 全景合成集成于统一框架。LDR 与 HDR 全景合成共享相似生成器但拥有独立判别器。推理时，给定 LDR LFOV 图像，我们提出焦点掩码 GAN 反演方法，通过 LDR 全景合成分支找到其潜码，再由 HDR 全景合成分支合成 HDR 全景。StyleLight 将 LFOV 到全景与 LDR 到 HDR 光照生成纳入统一框架，从而大幅改进光照估计。大量实验表明，我们的框架在室内光照估计上优于最先进方法。值得注意的是，StyleLight 还支持对室内 HDR 全景的直观光照编辑，适用于真实世界应用。代码见 https://style-light.github.io。
引用
@article{arxiv.2207.14811,
title = {StyleLight: HDR Panorama Generation for Lighting Estimation and Editing},
author = {Guangcong Wang and Yinuo Yang and Chen Change Loy and Ziwei Liu},
journal= {arXiv preprint arXiv:2207.14811},
year = {2022}
}
备注
ECCV 2022, Project Page: https://style-light.github.io/ , Code: https://github.com/Wanggcong/StyleLight