一种用于单幅图像去雨的模型驱动深度神经网络
图像与视频处理
2020-05-05 v1 计算机视觉与模式识别
摘要
深度学习方法在单幅图像去雨任务中已取得最先进的性能。然而，当前大多数深度学习架构仍缺乏足够的可解释性，且未充分结合一般雨纹内部的物理结构。针对此问题，本文提出了一种用于该任务的模型驱动深度神经网络，具有完全可解释的网络结构。具体而言，基于用于表示雨的卷积字典学习机制，我们提出了一种新颖的单幅图像去雨模型，并利用近端梯度下降技术设计了一种仅含简单算子的迭代算法来求解该模型。这种简单的实现方案便于我们将其展开为一个新的深度网络架构，称为雨卷积字典网络（RCDNet），其中几乎每个网络模块都与算法中涉及的每个操作一一对应。通过对所提出的 RCDNet 进行端到端训练，所有雨核与近端算子均可被自动提取，忠实刻画雨层与干净背景层的特征，从而自然带来更优的去雨性能，尤其在真实场景中。综合实验证实了所提网络的优越性，特别是其与最先进方法相比在视觉和定量上均具有对多样测试场景的良好泛化能力以及所有模块的良好可解释性。源代码见 \url{https://github.com/hongwang01/RCDNet}。
引用
@article{arxiv.2005.01333,
title = {A Model-driven Deep Neural Network for Single Image Rain Removal},
author = {Hong Wang and Qi Xie and Qian Zhao and Deyu Meng},
journal= {arXiv preprint arXiv:2005.01333},
year = {2020}
}