图像复原中自注意力与卷积的动态关联学习
计算机视觉与模式识别
2023-11-10 v1
摘要
CNNs 与自注意力已在多媒体应用中取得巨大成功，用于图像复原中自注意力与卷积的动态关联学习。然而，CNNs 至少有两个缺点：1) 感受野有限；2) 推理时滑动窗口的静态权重，无法应对内容多样性。鉴于 CNNs 与自注意力的优劣，本文提出一种关联学习方法，以利用其优势并抑制其缺点，从而实现高质量、高效率的修复。我们认为雨纹分布除预测外还反映了退化位置与程度。因此，我们提出以关联学习方式用预测的退化先验细化背景纹理。由此，我们通过关联雨条去除与背景恢复来完成图像去雨，其中为两个子任务设计了图像去雨网络与背景恢复网络。关联学习的关键部分是一个新颖的多输入注意力模块。它根据预测的雨图分布生成退化先验并产生退化掩码。得益于自注意力(SA)的全局关联计算，MAM 可利用退化掩码从雨天输入中提取信息性互补成分，进而帮助准确的纹理恢复。同时，SA 倾向于以自注意力重要性聚合特征图，而卷积使其多样化以聚焦于局部纹理。一种混合融合网络包含一个残差 Transformer 分支与一个编码器-解码器分支。前者以少量可学习令牌作为输入，堆叠多头注意力与前馈网络以编码图像的全局特征。后者则相反，利用多尺度编码器-解码器表示上下文知识。
引用
@article{arxiv.2311.05147,
title = {Dynamic Association Learning of Self-Attention and Convolution in Image Restoration},
author = {Kui Jiang and Xuemei Jia and Wenxin Huang and Wenbin Wang and Zheng Wang and Junjun Jiang},
journal= {arXiv preprint arXiv:2311.05147},
year = {2023}
}
备注
in Chinese language, Journal of Image and Graphics. arXiv admin note: substantial text overlap with arXiv:2207.10455