基于核引导 CNN 的单图像雨纹去除
计算机视觉与模式识别
2020-08-26 v2
摘要
雨纹去除是一个重要问题，近来已被广泛研究。现有方法，尤其是新近出现的深度学习方法，在许多情况下能较好地去除雨纹。然而，雨纹生成过程中的本质因素，即导致线状纹理外观的运动模糊，被深度学习的雨纹方法所忽视，从而造成了去雨过度或去雨不足的结果。本文中，我们提出了一种使用核引导卷积神经网络（KGCNN）的新颖雨纹去除方法，以简单的网络结构实现了最先进的性能。我们首先以运动模糊机制对雨纹干扰进行建模。随后，我们的框架从纹理分量的一个图像块出发，通过一个朴素神经网络（记为参数网络）学习由角度与长度两个因素决定的运动模糊核。接着，经维度拉伸操作，将学到的运动模糊核拉伸为与雨图块空间尺寸相同的退化图。拉伸后的退化图与纹理块随后被输入一个去雨卷积网络，该网络为典型的 ResNet 架构，并在所学运动模糊核的引导下训练以输出雨纹。在大量合成与真实数据上的实验证明了所提方法的有效性，其在去除雨纹的同时保留了纹理与对比度。
引用
@article{arxiv.1808.08545,
title = {Rain Streak Removal for Single Image via Kernel Guided CNN},
author = {Ye-Tao Wang and Xi-Le Zhao and Tai-Xiang Jiang and Liang-Jian Deng and Yi Chang and Ting-Zhu Huang},
journal= {arXiv preprint arXiv:1808.08545},
year = {2020}
}