基于梯度信息引导与新型网络及对抗训练的除雨方法
计算机视觉与模式识别
2019-10-10 v1 图像与视频处理
摘要
近年来,基于深度学习的方法在去雨方面取得了显著进展。然而,现有方法通常泛化能力不佳,导致几乎所有现有方法在去除特定类型雨纹时表现满意,但在其他类型雨纹上表现相对较差。本文旨在从单幅图像中去除多种类型雨纹,提出了一种具有更好泛化能力的新型除雨框架(GRASPP-GAN)。具体而言,将提取雨图深度特征的改进 ResNet-18 与适应雨纹不同形状和大小的改进 ASPP 结构组合构成除雨网络的骨干。考虑到雨纹在梯度域中特征更为突出,引入梯度损失以辅助监督除雨训练过程,为此构建了 Sobel 卷积层以灵活提取梯度信息。为进一步提升性能,首次采用对抗学习方案训练所提网络。在真实与合成数据集上的大量实验表明,我们的方法在定量与定性上均优于当前最优(state-of-the-art)除雨方法。此外,无需任何修改,我们所提框架在去雾上也取得了良好的视觉表现。
引用
@article{arxiv.1910.03839,
title = {Gradient Information Guided Deraining with A Novel Network and Adversarial Training},
author = {Yinglong Wang and Haokui Zhang and Yu Liu and Qinfeng Shi and Bing Zeng},
journal= {arXiv preprint arXiv:1910.03839},
year = {2019}
}
备注
12 pages, 9 figures, 4 tables