用于图像去雾的跨范式表示与对齐Transformer

Transformer-based 网络在图像去雾等低层视觉任务中通过利用空间或通道注意力已取得优异性能。然而， irregular rain patterns（不规则雨纹）和复杂几何叠加挑战了单一范式架构，亟需统一框架来整合全局-局部和空间-通道表示的互补性。为此，我们提出一种新型跨范式表示与对齐Transformer（CPRAformer）。其核心思想是层次化的表示与对齐，利用两种范式（空间-通道和全局-局部）的优势以辅助图像重建。它在范式内部及范式间建立鸿沟，实现对齐和协调，使特征能够深度交互与融合。具体而言，我们在Transformer模块中采用两种自注意力：稀疏提示通道自注意力（SPC-SA）和空间像素细化自注意力（SPR-SA）。SPC-SA 通过动态稀疏性增强全局通道依赖性，而SPR-SA 专注于空间雨分布和细粒度纹理恢复。为解决两者之间的特征错位和知识差异，我们引入自适应对齐频率模块（AAFM），以两阶段渐进方式实现对齐和交互，实现自适应引导与互补。降低范式内部及范式间的信息差。通过这种统一的跨范式动态交互框架，我们从两种范式中提取出最有价值的交互式融合信息。大量实验表明，本模型在八个基准数据集上实现了最先进的性能，并进一步验证了CPRAformer在其他图像修复任务和下游应用中的鲁棒性。