SAPNet：用于感知对比去雨的分割感知渐进网络
计算机视觉与模式识别
2021-11-29 v2
摘要
深度学习算法近期在自然与合成雨天数据集上取得了有前景的去雨性能。作为必要的底层预处理阶段，去雨网络应清除雨纹并保留精细语义细节。然而，多数现有方法仅考虑底层图像复原，这限制了其在需要精确语义信息的高层任务上的表现。为解决此问题，本文提出一种基于对比学习的分割感知渐进网络（SAPNet）用于单图像去雨。我们的方法以由渐进膨胀单元（PDU）构成的轻量去雨网络起步。PDU可在不对多尺度图像进行繁重计算的情况下显著扩大感受野并刻画多尺度雨纹。本工作的一个基本方面是以ImageNet与高斯权重初始化的无监督背景分割（UBS）网络。UBS能忠实保留图像语义信息并提升对未见照片的泛化能力。此外，我们引入感知对比损失（PCL）与学习感知图像相似度损失（LPISL）以约束模型学习。通过在VGG-16隐空间将雨天图像与真值分别作为负样本与正样本，我们以完全约束方式在去雨图像与真值间桥接精细语义细节。在合成与真实世界雨天图像上的综合实验表明，我们的模型超越顶尖方法，并以可观效能辅助目标检测与语义分割。Pytorch实现见 https://github.com/ShenZheng2000/SAPNet-for-image-deraining。
引用
@article{arxiv.2111.08892,
title = {SAPNet: Segmentation-Aware Progressive Network for Perceptual Contrastive Deraining},
author = {Shen Zheng and Changjie Lu and Yuxiong Wu and Gaurav Gupta},
journal= {arXiv preprint arXiv:2111.08892},
year = {2021}
}
备注
Accepted by WACV2022