中文

MCW-Net:基于多级连接与宽区域非局部块的单图像去雨网络

计算机视觉与模式识别 2022-04-26 v4

摘要

近来一系列基于卷积神经网络的工作已成功捕捉雨纹。然而,细节恢复方面的困难仍然存在。在本文中,我们提出一种多级连接与宽区域非局部块网络(MCW-Net)以恰当恢复雨图中的原始背景纹理。与现有通过额外分支提升性能的基于编码器-解码器的图像去雨模型不同,MCW-Net 通过以下两种所提方法在不使用额外分支的情况下最大化信息利用来提升性能。第一种方法是多级连接,其将编码器网络的多级特征重复连接到解码器网络。多级连接促使解码过程利用所有级别的特征信息。在多级连接中,考虑通道注意力以学习在当前级别的解码过程中哪一级特征重要。第二种方法是宽区域非局部块。由于雨纹主要呈垂直分布,我们将图像网格划分为水平较宽的块,并对每个区域应用非局部操作以探索丰富的无雨背景信息。在合成与真实世界雨天数据集上的实验结果表明,所提模型显著优于现有的最先进(SOTA)模型。此外,联合去雨与分割实验的结果证明我们的模型对其他视觉任务也有有效贡献。

关键词

引用

@article{arxiv.2009.13990,
  title  = {MCW-Net: Single Image Deraining with Multi-level Connections and Wide Regional Non-local Blocks},
  author = {Yeachan Park and Myeongho Jeon and Junho Lee and Myungjoo Kang},
  journal= {arXiv preprint arXiv:2009.13990},
  year   = {2022}
}