RouteWinFormer：用于图像修复的路由窗口Transformer
计算机视觉与模式识别
2025-04-24 v1
摘要
Transformer模型近年来因其捕获长程像素依赖的能力而在图像修复领域受到广泛关注。然而，长程注意力往往导致计算开销而缺乏实际必要性，因为损坏和上下文通常是局部化的。经过对 various degradation 数据集进行归一化平均注意力距离分析显示，中程注意力足以满足图像修复需求。基于这一洞察，我们提出RouteWinFormer，这是一种新颖的基于窗口的Transformer，用于图像修复中的中程上下文建模。RouteWinFormer集成了路由窗口注意力模块，该模块根据区域相似性动态选择相关相邻窗口进行注意力聚合，从而高效地扩展感受野至中程尺度。此外，我们在训练期引入多尺度结构正则化，使U型网络的次尺度分支专注于结构信息，而原尺度分支则基于广义图像结构先验学习损坏模式。大量实验表明，RouteWinFormer在9个数据集上的各种图像修复任务中均优于最先进的方法。
关键词
引用
@article{arxiv.2504.16637,
title = {RouteWinFormer: A Route-Window Transformer for Middle-range Attention in Image Restoration},
author = {Qifan Li and Tianyi Liang and Xingtao Wang and Xiaopeng Fan},
journal= {arXiv preprint arXiv:2504.16637},
year = {2025}
}