DSwinIR：重新思考基于窗口的注意力机制用于图像恢复
计算机视觉与模式识别
2025-12-30 v3
摘要
图像恢复领域由于深度学习模型的发展取得了显著进展。特别是使用基于窗口的自注意力机制的Transformer模型已成为主导力量。然而，其性能受限于刚性、非重叠的窗口分区方案，导致注意力跨窗口的特征交互不足以及感受野受限。这凸显了需要更灵活的注意力机制。本文提出一种用于图像恢复的可变形滑动窗口Transformer (DSwinIR)，一种新的注意力机制：可变形滑动窗口 (DSwin) 注意力。该机制引入了基于token的、内容感知的范式，超越了网格和固定窗口分区。它包含两个互补组件：首先，用基于token的滑动窗口范式取代刚性分区，可有效消除边界伪影；其次，融入内容感知的可变形采样策略，使注意力机制能够学习数据依赖的偏移量，主动塑造其感受野，聚焦于最具信息性的图像区域。大量实验表明，DSwinIR取得了强劲成绩，包括在多个评估基准上实现最先进性能。例如，在全任务图像恢复中，DSwinIR在三任务基准上比最新主干模型GridFormer提高了0.53 dB，在五任务基准上提高了0.87 dB。
关键词
引用
@article{arxiv.2504.04869,
title = {DSwinIR: Rethinking Window-based Attention for Image Restoration},
author = {Gang Wu and Junjun Jiang and Kui Jiang and Xianming Liu and Liqiang Nie},
journal= {arXiv preprint arXiv:2504.04869},
year = {2025}
}