利用全局与局部注意力从单幅图像中去除暴雨
计算机视觉与模式识别
2021-04-19 v1 人工智能
摘要
单幅图像暴雨去除是同时消除雨纹与雾的任务，其会严重 degradation 所捕获图像的质量。大多数现有去雨方法在暴雨情形下泛化性不佳。本工作中，我们提出一种由三个子网络组成的新型网络架构，可在不分别估计雨纹与雾的情况下从单幅图像去除暴雨。第一子网络为基于 U-net 的架构，融入了我们的空间通道注意力（SCA）模块，提取提供去除由雨和雾引起的大气畸变所需充分上下文信息的全局特征。第二子网络学习加性残差信息，通过我们提出的残差初始模块（RIM）有助于去除雨纹伪影。第三子网络即乘性子网络，采用我们的通道注意力初始模块（CIM），并通过调制去雨图像中的局部像素强度，学习在 SCA 与加性子网络中未被有效提取的更亮局部特征。我们的三个干净图像结果随后通过注意力混合块结合以生成最终干净图像。我们的方法借助 SCA、RIM 与 CIM 在合成数据集上显著优于先前最先进的单幅图像去雨方法，并在真实图像数据集上展现出明显更干净、更锐利的去雨估计。我们给出了广泛的实验与消融研究，支撑我们方法在合成与真实图像数据集上各方面的贡献。
引用
@article{arxiv.2104.08126,
title = {Exploiting Global and Local Attentions for Heavy Rain Removal on Single Images},
author = {Dac Tung Vu and Juan Luis Gonzalez and Munchurl Kim},
journal= {arXiv preprint arXiv:2104.08126},
year = {2021}
}