面向自校准去雨网络的联合自注意力与尺度聚合方法
计算机视觉与模式识别
2020-08-07 v1
摘要
在多媒体领域，单幅图像去雨是一项基础的预处理工作，可极大改善雨天条件下后续高层任务的视觉效果。本文提出一种名为 JDNet 的有效算法，用于解决单幅图像去雨问题，并开展分割与检测任务的应用。具体而言，考虑到多尺度特征上的重要信息，我们提出尺度聚合（Scale-Aggregation）模块以学习不同尺度的特征。同时，引入自注意力（Self-Attention）模块以匹敌或超越其卷积对应物，使特征聚合能自适应于每个通道。此外，为改进卷积神经网络（CNNs）的基础卷积特征变换过程，采用自校准（Self-Calibrated）卷积构建每个空间位置周围的长程空间与通道间依赖，通过内部通信显式扩展各卷积层的感受野，从而丰富输出特征。通过巧妙设计结合自校准卷积的尺度聚合与自注意力模块，所提模型在真实与合成数据集上均取得更优去雨结果。大量实验证明了本文方法相较最先进（state-of-the-art）方法的优越性。源代码将发布于 \url{https://supercong94.wixsite.com/supercong94}。
引用
@article{arxiv.2008.02763,
title = {Joint Self-Attention and Scale-Aggregation for Self-Calibrated Deraining Network},
author = {Cong Wang and Yutong Wu and Zhixun Su and Junyang Chen},
journal= {arXiv preprint arXiv:2008.02763},
year = {2020}
}
备注
Accepted to ACM International Conference on Multimedia (MM'20)