SIRfyN：借助近邻图像的单图像重光照
计算机视觉与模式识别
2021-12-10 v1
摘要
我们展示如何对单张图像中描绘的场景进行重光照，使得 (a) 整体明暗发生变化，且 (b) 结果图像看起来像该场景的自然图像。此类过程的应用包括生成训练数据和构建创作环境。朴素的实现方法会失败。原因之一是明暗与反照率密切相关；例如，明暗的锐利边界往往出现在深度不连续处，而这些通常在反照率中显现。同一场景可以以不同方式照明，已有理论表明不同光照形成一个锥体（光照锥）。新理论表明，可以利用相似场景来估计适用于给定场景的不同光照，且期望误差有界。我们的方法利用这一理论，以估算的光照锥生成元的形式估计可用光照场的表示。我们的过程不需要昂贵的“逆向图形”数据集，也不使用任何形式的真实数据。定性评估表明，该方法可以消除和恢复柔和的室内阴影，并能“引导”光线在场景中移动。我们通过 FID 的一种新颖应用提供了方法的总结性定量评估。FID 的扩展允许对每张生成图像进行评估。此外，我们通过用户研究提供了定性评估，并表明我们的方法生成的图像可成功用于数据增强。
引用
@article{arxiv.2112.04497,
title = {SIRfyN: Single Image Relighting from your Neighbors},
author = {D. A. Forsyth and Anand Bhattad and Pranav Asthana and Yuanyi Zhong and Yuxiong Wang},
journal= {arXiv preprint arXiv:2112.04497},
year = {2021}
}