DCSFN:用于单幅图像去雨的深度跨尺度融合网络
计算机视觉与模式识别
2020-08-04 v1
摘要
去雨是一项重要但具挑战性的计算机视觉任务,因为雨纹会严重降低图像可见性,可能导致其他视觉或多媒体任务无法工作。先前工作主要关注特征提取与处理或神经网络结构,而当前去雨方法虽已能取得显著效果,基于单一网络结构且不考量跨尺度关系的训练可能导致信息丢失。本文中,我们探索网络间的跨尺度方式以及尺度内融合操作来解决图像去雨任务。具体而言,为学习不同尺度特征,我们提出多子网络结构,这些子网络通过门控循环单元以跨尺度方式融合,从而在尺度内学习并充分利用各子网络不同尺度信息。进一步,我们设计尺度内连接块以利用多尺度信息及不同尺度间的特征融合方式提升雨纹表征能力,并引入带跳跃连接的稠密块来内部连接这些块。在合成与真实世界数据集上的实验结果均证明了我们所提方法的优越性,其优于当前最先进(SOTA)方法。源代码将发布于 https://supercong94.wixsite.com/supercong94。
引用
@article{arxiv.2008.00767,
title = {DCSFN: Deep Cross-scale Fusion Network for Single Image Rain Removal},
author = {Cong Wang and Xiaoying Xing and Zhixun Su and Junyang Chen},
journal= {arXiv preprint arXiv:2008.00767},
year = {2020}
}
备注
Accepted to ACM International Conference on Multimedia (MM'20)