SIDNet：用于图像调和的学习阴影感知光照描述子
计算机视觉与模式识别
2023-09-19 v3
摘要
图像调和旨在调整前景的外观使其与背景更协调。现有工作未探究背景光照及其对前景元素的影响，因而无法生成真实的前景阴影。本文将图像调和任务分解为两个子问题：1)背景图像的光照估计；2)在背景光照下重新渲染前景物体。在解决这两个子问题之前，我们首先通过一个精心设计的神经渲染框架学习一个阴影感知光照描述子，其关键在于一个从前景图像生成多个阴影基的阴影基模块。随后我们设计背景光照估计模块从背景中提取光照描述子。最后，该阴影感知光照描述子与神经渲染框架(SIDNet)结合使用，生成包含新颖调和阴影的调和前景图像。此外，我们构建了一个照片级真实感合成图像调和数据集，其包含大量基于图像光照的阴影变化。在合成与真实数据上的大量实验证明了所提方法的优越性，尤其在处理前景阴影方面。
引用
@article{arxiv.2112.01314,
title = {SIDNet: Learning Shading-aware Illumination Descriptor for Image Harmonization},
author = {Zhongyun Hu and Ntumba Elie Nsampi and Xue Wang and Qing Wang},
journal= {arXiv preprint arXiv:2112.01314},
year = {2023}
}
备注
Accepted by IEEE TETCI 2023. Project website: https://waldenlakes.github.io/IllumHarmony/