用于单图像去雨的多尺度渐进融合网络
计算机视觉与模式识别
2020-03-31 v2 机器学习
图像与视频处理
摘要
由于雨纹到相机的距离不同，空气中的雨纹呈现出不同的模糊程度和分辨率。在雨图像及其多尺度（或多分辨率）版本中可见相似的雨纹模式，这使得利用此类互补信息来表示雨纹成为可能。在这项工作中，我们从输入图像尺度和层次化深度特征的角度，在一个统一框架中探索雨纹的多尺度协同表示，称为用于单图像雨纹去除的多尺度渐进融合网络（MSPFN）。对于不同位置的相似雨纹，我们采用循环计算来捕获全局纹理，从而能够在空间维度上探索互补和冗余信息以刻画目标雨纹。此外，我们构建了多尺度金字塔结构，并进一步引入注意力机制来引导来自不同尺度的相关信息的精细融合。这种多尺度渐进融合策略不仅促进了协同表示，还提升了端到端训练。我们提出的方法在多个基准数据集上进行了广泛评估，并取得了最先进（state-of-the-art）的结果。此外，我们在联合去雨、检测与分割任务上进行了实验，并启发了视觉任务驱动的图像去雨这一新的研究方向。源代码可在 \url{https://github.com/kuihua/MSPFN} 获取。
引用
@article{arxiv.2003.10985,
title = {Multi-Scale Progressive Fusion Network for Single Image Deraining},
author = {Kui Jiang and Zhongyuan Wang and Peng Yi and Chen Chen and Baojin Huang and Yimin Luo and Jiayi Ma and Junjun Jiang},
journal= {arXiv preprint arXiv:2003.10985},
year = {2020}
}
备注
CVPR 2020