用于轻量级图像复原的互易注意力混合Transformer
计算机视觉与模式识别
2024-04-19 v4 人工智能
摘要
尽管近期许多工作在图像复原（IR）领域取得了进展，但它们往往存在参数量过多的问题。另一个问题是，大多数基于Transformer的IR方法仅关注局部或全局特征之一，导致感受野有限或参数缺陷问题。为解决这些问题，我们提出了一种轻量级IR网络——互易注意力混合Transformer（RAMiT）。它采用我们提出的维度互易注意力混合Transformer（D-RAMiT）块，以不同数量的多头并行计算双维度（空间与通道）自注意力。双维度注意力相互补充对方的缺陷，随后被混合。此外，我们引入了层次化互易注意力混合（H-RAMi）层，在保持高效层次结构的同时补偿像素级信息损失并利用语义信息。进一步，我们重访并修改了MobileNet V1和V2，将高效卷积附加到我们提出的组件上。实验结果表明，RAMiT在多个轻量级IR任务上取得了最先进的性能，包括超分辨率、彩色去噪、灰度去噪、低光增强和去雨。代码见 https://github.com/rami0205/RAMiT。
引用
@article{arxiv.2305.11474,
title = {Reciprocal Attention Mixing Transformer for Lightweight Image Restoration},
author = {Haram Choi and Cheolwoong Na and Jihyeon Oh and Seungjae Lee and Jinseop Kim and Subeen Choe and Jeongmin Lee and Taehoon Kim and Jihoon Yang},
journal= {arXiv preprint arXiv:2305.11474},
year = {2024}
}
备注
CVPR 2024 Workshop - NTIRE. Codes are available at https://github.com/rami0205/RAMiT