基于高质量阴影合成的图像阴影去除
计算机视觉与模式识别
2023-07-11 v2
摘要
大多数阴影去除方法依赖于带有繁琐且昂贵的阴影区域标注的训练图像，这导致阴影图像合成日益流行。然而，这些合成图像性能不佳也源于其本身，因为它们往往阴影不真实且细节受损。本文提出一种新颖的生成框架 HQSS，用于高质量伪阴影图像合成。给定图像首先被解耦为阴影区域身份与非阴影区域身份。HQSS 采用阴影特征编码器与生成器来合成伪图像。具体而言，编码器提取某一区域身份的阴影特征，随后将其与另一区域身份配对，作为生成器输入以合成伪图像。该伪图像预期具有与其输入阴影特征一致的阴影特征，以及与其输入区域身份一致的类真实图像细节。为实现此目标，我们设计了三个学习目标。当阴影特征与输入区域身份来自同一区域身份时，我们提出自重建损失以引导生成器重建与其输入相同的伪图像。当阴影特征与输入区域身份来自不同身份时，我们引入互重建损失与循环重建损失，以确保阴影特征与细节信息在合成图像中得以良好保留。我们的 HQSS 在 ISTD 数据集、Video Shadow Removal 数据集与 SRD 数据集上均优于当前最优方法。代码见 https://github.com/zysxmu/HQSS。
引用
@article{arxiv.2212.04108,
title = {Shadow Removal by High-Quality Shadow Synthesis},
author = {Yunshan Zhong and Lizhou You and Yuxin Zhang and Fei Chao and Yonghong Tian and Rongrong Ji},
journal= {arXiv preprint arXiv:2212.04108},
year = {2023}
}