用于图像复原的自适应跨层注意力
图像与视频处理
2023-04-21 v3 计算机视觉与模式识别
机器学习
摘要
非局部注意力模块已被证明对图像复原至关重要。传统的非局部注意力分别处理每一层的特征，因此可能遗漏不同层特征之间的相关性。为解决此问题，我们旨在设计聚合来自不同层信息的注意力模块。不同于在同一层内寻找相关关键像素，每个查询像素被鼓励关注网络多个先前层的关键像素。为将该注意力设计高效嵌入神经网络骨干，我们提出一种新颖的自适应跨层注意力(ACLA)模块。为 ACLA 提出两种自适应设计：(1) 每层自适应选择非局部注意力的键；(2) 自动搜索 ACLA 模块的插入位置。通过这两种自适应设计，ACLA 动态选择灵活数量的键以在先前层聚合进行非局部注意力，同时保持紧凑且性能优异的神经网络。在图像复原任务（包括单图像超分辨率、图像去噪、图像去马赛克和图像压缩伪影去除）上的大量实验验证了 ACLA 的有效性与高效性。ACLA 的代码见 \url{https://github.com/SDL-ASU/ACLA}。
引用
@article{arxiv.2203.03619,
title = {Adaptive Cross-Layer Attention for Image Restoration},
author = {Yancheng Wang and Ning Xu and Yingzhen Yang},
journal= {arXiv preprint arXiv:2203.03619},
year = {2023}
}