SDNet：基于Swin的多分支单图像去雨网络
计算机视觉与模式识别
2021-06-01 v1 机器学习
图像与视频处理
摘要
雨纹会降低图像质量并严重影响自动驾驶、社会治安等后续计算机视觉任务的性能。因此，从给定雨图中去除雨纹具有重要意义。卷积神经网络（CNN）已广泛应用于图像去雨任务，然而卷积操作的局部计算特性限制了图像去雨任务的发展。近来流行的Transformer具有全局计算特性，可进一步促进图像去雨任务的发展。本文首次将Swin-transformer引入图像去雨领域，以研究Swin-transformer在图像去雨领域的性能与潜力。具体而言，我们改进了Swin-transformer的基础模块并设计了一个三分支模型来实现单图像去雨。前者实现基础雨纹特征提取，后者融合不同特征以进一步提取与处理图像特征。此外，我们采用跳跃连接来融合深层特征与浅层特征。在实验方面，现有公开数据集存在图像重复与背景相对单一的问题。因此我们提出一个新数据集Rain3000来验证我们的模型。我们在公开数据集Rain100L、Rain100H及我们的数据集Rain3000上的实验结果表明，相较于当前主流单图像雨纹去除模型，我们提出的方法在性能与推理速度上具有优势。源代码将在 https://github.com/H-tfx/SDNet 提供。
引用
@article{arxiv.2105.15077,
title = {SDNet: mutil-branch for single image deraining using swin},
author = {Fuxiang Tan and YuTing Kong and Yingying Fan and Feng Liu and Daxin Zhou and Hao zhang and Long Chen and Liang Gao and Yurong Qian},
journal= {arXiv preprint arXiv:2105.15077},
year = {2021}
}