基于非对称循环生成对抗框架的深度单幅图像去雨
计算机视觉与模式识别
2023-05-22 v2 图像与视频处理
摘要
现实中，雨和雾常同时出现，会大幅降低场景图像的清晰度与质量。然而，大多数无监督单幅图像去雨方法主要关注雨纹去除而忽略雾，导致去雨性能低下。此外，这些方法生成的样本较为同质且缺乏多样性，在面对复杂雨景时结果不佳。为解决上述问题，我们提出了一种新颖的非对称循环生成对抗框架（ACGF）用于单幅图像去雨，该框架在合成与真实雨天图像上训练，同时捕捉雨纹与雾特征。ACGF由Rain-fog2Clean（R2C）变换块与Clean2Rain-fog（C2R）变换块组成。前者通过去雨与去雨雾网络及注意力雨雾特征提取网络（ARFE）包含并行去雨路径与雨雾特征提取路径，而后者仅含合成雨变换路径。在雨雾特征提取路径中，为更好刻画雨雾融合特征，我们采用ARFE通过学习空间特征关联来利用全局与局部雨雾信息的自相似性。此外，为提升C2R的翻译能力与模型的多样性，我们设计了雨雾特征解耦与重组网络（RFDR），通过嵌入雨天图像退化模型与混合判别器以在合成雨转换路径中保留更丰富纹理细节。在基准雨雾与雨数据集上的大量实验表明，ACGF优于当前最先进（SOTA）的去雨方法。我们还进行了除雾性能评估实验以进一步证明ACGF的有效性。
引用
@article{arxiv.2202.09635,
title = {Deep Single Image Deraining using An Asymetric Cycle Generative and Adversarial Framework},
author = {Wei Liu and Rui Jiang and Cheng Chen and Tao Lu and Zixiang Xiong},
journal= {arXiv preprint arXiv:2202.09635},
year = {2023}
}