SnowFormer：具有尺度感知的上下文交互 Transformer 用于单图像去雪
计算机视觉与模式识别
2022-11-15 v3
摘要
由于雪退化多样且复杂，单图像去雪是一项具有挑战性的图像复原任务。鉴于现有方法无法理想地处理该问题，我们提出了一种新颖的 transformer——SnowFormer，其探索高效的跨注意力以在图像块间建立局部-全局上下文交互，并超越了采用局部算子或原始 transformer 的现有工作。与先前的去雪方法及通用图像复原方法相比，SnowFormer 具有若干优势。首先，不同于近期图像复原 Vision Transformers 中的多头自注意力，SnowFormer 引入多头跨注意力机制，在尺度感知的雪查询与局部块嵌入之间执行局部-全局上下文交互。其次，SnowFormer 中的雪查询由查询生成器从聚合的尺度感知特征产生，这些特征富含潜在的干净线索，从而带来更优的复原结果。第三，SnowFormer 在六个合成与真实世界数据集上超越了先进的 SOTA 去雪网络以及流行的通用图像复原 transformers。代码发布于 \url{https://github.com/Ephemeral182/SnowFormer}。
引用
@article{arxiv.2208.09703,
title = {SnowFormer: Context Interaction Transformer with Scale-awareness for Single Image Desnowing},
author = {Sixiang Chen and Tian Ye and Yun Liu and Erkang Chen},
journal= {arXiv preprint arXiv:2208.09703},
year = {2022}
}