跳跃前观察：用于图像修复的高频注入变换器

变换器方法由于能够建模长期依赖关系，在图像修复中取得了卓越的性能。然而，其捕捉局部信息的局限性限制了其去除退化程度的能力。虽然现有方法通过融合卷积运算来缓解此问题，但变换器的核心组件——自注意力机制——作为低通滤波器，可能会无意中稀释甚至消除已获取的局部模式。本文提出了HIT（High-frequency Injected Transformer），即一种简单且有效的高频注入变换器，用于图像修复。具体而言，我们设计了窗口级注入模块（WIM），将大量高频细节注入特征图，以提供恢复高质量图像的可靠参考。我们还开发了双向交互模块（BIM），以互相强化的范式聚合不同尺度的特征， resulting in 在空间和上下文方面的改进表示。此外，我们引入了空间增强单元（SEU），以保留由于BIM中跨通道维度计算可能丢失的关键空间关系。对9项任务（真实噪声、真实雨 streak、雨滴、运动模糊、摩尔纹、阴影、雪、雾和低光条件）进行大量实验表明，HIT具有线性计算复杂度，相较于最先进的方法在性能上表现更优。源代码和预训练模型将在 https://github.com/joshyZhou/HIT 提供。