基于自监督约束的无监督单幅图像去雨
计算机视觉与模式识别
2018-11-22 v1
摘要
大多数现有的单幅图像去雨方法需要从大量成对的合成训练数据中学习有监督模型，这限制了它们在真实世界多媒体应用中的通用性、可扩展性和实用性。此外，由于缺乏标签监督约束，直接将现有的无监督框架应用于图像去雨任务会遭遇低质量的复原。因此，我们提出了一种无监督去雨生成对抗网络（UD-GAN），通过从非成对的雨天图像和干净图像的内在统计中引入自监督约束来解决上述问题。具体而言，我们首先设计两个协同优化的模块，即雨纹引导模块（RGM）和背景引导模块（BGM），以充分利用雨天图像的特性：RGM用于区分真实雨天图像与基于BGM生成器输出所构造的伪雨天图像；同时，BGM利用分层高斯模糊梯度误差来确保雨天输入与去雨输出之间的背景一致性。其次，考虑到真实干净图像与去雨图像之间固有的亮度差异，我们将一种新颖的亮度调节对抗损失集成到干净图像判别器中。在各种基准数据集和不同训练设置上的综合实验结果表明，UD-GAN在定量与定性比较中均优于现有的图像去雨方法。
引用
@article{arxiv.1811.08575,
title = {Unsupervised Single Image Deraining with Self-supervised Constraints},
author = {Xin Jin and Zhibo Chen and Jianxin Lin and Zhikai Chen and Wei Zhou},
journal= {arXiv preprint arXiv:1811.08575},
year = {2018}
}
备注
10 pages, 8 figures