用于单图像去雨的多尺度沙漏分层融合网络
图像与视频处理
2021-06-15 v2 计算机视觉与模式识别
摘要
雨纹带来严重的模糊与视觉质量退化，其大小、方向与密度常各不相同。当前基于 CNN 的方法取得了令人鼓舞的性能，但在刻画雨纹特征与在能见度差的环境中恢复图像细节方面存在局限。为解决这些问题，我们以端到端方式提出一种多尺度沙漏分层融合网络（MH2F-Net），通过多尺度提取、分层蒸馏与信息聚合来精确捕获雨纹特征。为更好地提取特征，提出一种新颖的多尺度沙漏提取块（MHEB），通过下采样与上采样过程获取跨不同尺度的局部与全局特征。此外，分层注意力蒸馏块（HADB）随后利用双注意力特征响应自适应地重校准分层特征并消除冗余特征。进一步，我们引入残差投影特征融合（RPFF）策略，以渐进区分特征学习并聚合不同特征，而非直接拼接或相加。在合成与真实雨天数据集上的大量实验通过与近期最先进去雨算法的比较，证明了所设计 MH2F-Net 的有效性。我们的源代码将发布于 GitHub：https://github.com/cxtalk/MH2F-Net。
引用
@article{arxiv.2104.12100,
title = {Multi-Scale Hourglass Hierarchical Fusion Network for Single Image Deraining},
author = {Xiang Chen and Yufeng Huang and Lei Xu},
journal= {arXiv preprint arXiv:2104.12100},
year = {2021}
}
备注
Accepted in CVPRW 2021