Magic ELF:图像去雨中的关联学习与 Transformer
计算机视觉与模式识别
2022-07-22 v1
摘要
卷积神经网络(CNN)与 Transformer 已在多媒体应用中取得巨大成功。然而,鲜有研究有效且高效地协调这两种架构以满足图像去雨需求。本文旨在统一这两种架构,以利用它们各自的学习优势进行图像去雨。具体而言,CNN 的局部连接性与平移等变性,以及 Transformer 中自注意力(SA)的全局聚合能力,被充分挖掘用于特定的局部上下文与全局结构表示。基于雨纹分布揭示退化位置与程度的观察,我们引入退化先验以辅助背景恢复,并相应提出关联精炼去雨方案。提出一种新颖的多输入注意力模块(MAM)来关联雨扰去除与背景恢复。此外,我们为模型配备高效深度可分离卷积以学习特定特征表示并权衡计算复杂度。大量实验表明,我们提出的方法(称为 ELF)平均比最先进方法(MPRNet)高出 0.25 dB,但仅占用其计算成本与参数的 11.7% 和 42.1%。源代码见 https://github.com/kuijiang94/Magic-ELF。
引用
@article{arxiv.2207.10455,
title = {Magic ELF: Image Deraining Meets Association Learning and Transformer},
author = {Kui Jiang and Zhongyuan Wang and Chen Chen and Zheng Wang and Laizhong Cui and Chia-Wen Lin},
journal= {arXiv preprint arXiv:2207.10455},
year = {2022}
}