基于双对比学习的非配对深度图像去雨
计算机视觉与模式识别
2022-03-25 v4
摘要
从非配对的干净图像和雨图集合中学习单图像去雨(SID)网络是实用且有价值的，因为获取配对的真实世界数据几乎不可行。然而，在没有配对数据作为监督的情况下，学习 SID 网络具有挑战性。此外，在 SID 任务中简单使用现有的非配对学习方法(例如非配对对抗学习和循环一致性约束)不足以学习从雨输入到干净输出的潜在关系，因为雨图和干净图像之间存在显著的域间隙。在本文中，我们开发了一个有效的非配对 SID 对抗框架，该框架通过深度特征空间中的双对比学习方式探索非配对样本的共同属性，称为 DCD-GAN。所提方法主要由两个协作分支组成：双向翻译分支(BTB)和对比引导分支(CGB)。具体而言，BTB 充分利用对抗一致性的循环架构来生成丰富的样本对，并通过配备双向映射来挖掘两个域之间的潜在特征分布。同时，CGB 通过鼓励相似特征分布更接近、不相似特征分布更远离，隐式约束深度特征空间中不同样本的嵌入，以更好地促进去雨并帮助图像复原。大量实验表明，我们的方法在合成和真实世界数据集上都优于现有的非配对去雨方法，并生成与若干全监督或半监督模型相当的结果。
引用
@article{arxiv.2109.02973,
title = {Unpaired Deep Image Deraining Using Dual Contrastive Learning},
author = {Xiang Chen and Jinshan Pan and Kui Jiang and Yufeng Li and Yufeng Huang and Caihua Kong and Longgang Dai and Zhentao Fan},
journal= {arXiv preprint arXiv:2109.02973},
year = {2022}
}
备注
Accepted by CVPR 2022