设计一种用于深度图像重打光的照明感知网络
计算机视觉与模式识别
2022-08-31 v1
摘要
光照是摄影中的决定性因素，影响图像的风格、情感表达乃至质量。在现实中创造或寻找令人满意的光照条件费力且耗时，因此开发一种将图像中光照作为后处理进行操控的技术具有重要价值。尽管先前工作已基于物理视角探索了图像重打光技术，但生成合理图像需要大量监督与先验知识，限制了这些工作的泛化能力。相比之下，我们采取图像到图像翻译的视角，并隐式融合了传统物理视角的思想。本文提出一种照明感知网络（IAN），其遵循分层采样的引导，以高效率从单幅图像逐步对场景重打光。此外，设计了照明感知残差块（IARB）以近似物理渲染过程，并提取光源的精确描述符以供进一步操控。我们还引入了深度引导的几何编码器，在深度信息可用时获取有价值的几何与结构相关表示。实验结果表明，我们提出的方法比先前最先进（SOTA）方法产生了更好的定量与定性重打光结果。代码与模型已公开于 https://github.com/NK-CS-ZZL/IAN。
引用
@article{arxiv.2207.10582,
title = {Designing An Illumination-Aware Network for Deep Image Relighting},
author = {Zuo-Liang Zhu and Zhen Li and Rui-Xun Zhang and Chun-Le Guo and Ming-Ming Cheng},
journal= {arXiv preprint arXiv:2207.10582},
year = {2022}
}
备注
Accepted for publication as a Regular paper in the IEEE Transactions on Image Processing (T-IP)