DerainCycleGAN：用于单幅图像去雨与造雨的降雨注意力 CycleGAN
计算机视觉与模式识别
2021-04-08 v4
摘要
单幅图像去雨（SID）是新兴视觉应用中的一个重要且具挑战性的课题，近年来出现的大多数去雨方法为有监督方法，依赖于真实值（即成对图像）。然而，在实践中真实去雨任务中无成对图像的情况相当常见，在此类情况下如何以无监督方式去除雨纹将是一项非常具有挑战性的任务，因为缺乏图像间约束而导致恢复结果质量低下。在本文中，我们利用无配对数据探索无监督 SID 任务，并提出一种称为注意力引导约束 CycleGAN 去雨（简称 DerainCycleGAN）的新网络，其可充分利用 CycleGAN 的约束迁移学习能力与循环结构。具体而言，我们设计了一种无监督注意力引导雨纹提取器（U-ARSE），它利用记忆体，通过关注有雨和无雨图像域，以两个约束循环一致性分支联合提取雨纹掩码。作为副产品，我们还贡献了一个名为 Rain200A 的新成对降雨图像数据集，由我们的网络自动构建。与现有合成数据集相比，Rain200A 中的雨纹包含更明显且多样的形状与方向。因此，在 Rain200A 上训练的现有有监督方法在处理真实雨图时表现更佳。在合成与真实数据集上的大量实验表明，我们的网络优于现有无监督去雨网络，并且与其他相关有监督网络也具有很强竞争力。
引用
@article{arxiv.1912.07015,
title = {DerainCycleGAN: Rain Attentive CycleGAN for Single Image Deraining and Rainmaking},
author = {Yanyan Wei and Zhao Zhang and Yang Wang and Mingliang Xu and Yi Yang and Shuicheng Yan and Meng Wang},
journal= {arXiv preprint arXiv:1912.07015},
year = {2021}
}