基于双样本增强对比学习的细节恢复图像去雨
计算机视觉与模式识别
2023-02-15 v2
摘要
雨图内容的复杂性常导致前沿去雨模型出现图像退化，包括残留雨痕、误去除细节和外观失真。当将基于合成数据训练的模型应用于真实世界雨图时，这种退化进一步加剧。我们观察到合成与真实世界雨图之间存在两类域差距：一类存在于雨条纹模式中；另一类是干净图像的像素级外观。为弥合这两类域差距，我们提出了一种具有双样本增强对比学习的半监督细节恢复图像去雨网络（Semi-DRDNet）。Semi-DRDNet 由三个子网络组成：i) 为无残留地去除雨条纹，我们提出基于压缩激励的雨残差网络；ii) 为促使丢失细节回归，我们构建了基于结构细节上下文聚合的细节修复网络；据我们所知，此为首次；iii) 为对雨条纹与干净背景均构建高效对比约束，我们设计了一种新颖的双样本增强对比正则化网络。Semi-DRDNet 在合成与真实世界雨据上均表现出平滑的去雨鲁棒性与细节准确性。在包括我们构建的 Real200 在内的四个数据集上的对比显示，Semi-DRDNet 相较十五种最先进（SOTA）方法有明显提升。代码与数据集见 https://github.com/syy-whu/DRD-Net。
引用
@article{arxiv.2204.02772,
title = {Detail-recovery Image Deraining via Dual Sample-augmented Contrastive Learning},
author = {Yiyang Shen and Mingqiang Wei and Sen Deng and Wenhan Yang and Yongzhen Wang and Xiao-Ping Zhang and Meng Wang and Jing Qin},
journal= {arXiv preprint arXiv:2204.02772},
year = {2023}
}
备注
17 pages