迈向无重影阴影去除：双层级聚合网络与阴影抠图 GAN
计算机视觉与模式识别
2019-11-22 v2
摘要
阴影去除是场景理解的一项基本任务。许多研究仅考虑匹配图像内容，常导致两类重影：阴影区域颜色不一致或阴影边界上的伪影。本文从两方面解决这些问题。首先，为细致学习无边界伪影的图像，我们提出一种名为双层级聚合网络（DHAN）的新网络结构。它以一系列增长空洞卷积作为主干且不含任何下采样，并分层聚合多上下文特征分别用于注意力与预测。其次，我们认为在有限数据集上训练限制了网络对纹理的理解，从而导致阴影区域颜色不一致。当前最大数据集含 2k+ 阴影/无阴影图像对，但因许多样本具有相同背景与不同阴影位置，其仅有 0.1k+ 独特场景。为此，我们设计阴影抠图生成对抗网络（SMGAN），从给定阴影掩码与无阴影图像合成真实阴影抠图。借助新颖掩码或场景，我们利用合成阴影图像增强当前数据集。实验表明，我们的 DHAN 可消除阴影并生成高质量无重影图像。在合成与真实数据集上训练后，我们的网络大幅优于其他最先进（state-of-the-art）方法。代码见：http://github.com/vinthony/ghost-free-shadow-removal/
引用
@article{arxiv.1911.08718,
title = {Towards Ghost-free Shadow Removal via Dual Hierarchical Aggregation Network and Shadow Matting GAN},
author = {Xiaodong Cun and Chi-Man Pun and Cheng Shi},
journal= {arXiv preprint arXiv:1911.08718},
year = {2019}
}
备注
Accepted by AAAI 2020