SANDFORMER：基于门控融合的 CNN 与 Transformer 用于沙尘图像复原
计算机视觉与模式识别
2023-03-09 v1
摘要
尽管卷积神经网络（CNN）在图像复原方面取得了良好进展，但卷积的内在等价性与局部性仍制约着图像质量的进一步提升。近期的视觉 Transformer 与自注意力机制已在多种计算机视觉任务上取得令人瞩目的结果。然而，直接将 Transformer 用于图像复原是一项具有挑战性的任务。本文针对沙尘图像复原任务提出了一种高效的混合架构，其利用 CNN 的局部特征与 Transformer 捕获的长程依赖来进一步改善结果。我们提出了一种用于沙尘图像复原的高效混合结构，以解决 Transformer 与 CNN 之间的特征不一致问题。该框架通过对基于 CNN 与基于 Transformer 分支的特征进行调制而非简单相加或拼接来互补各自的表示。实验表明，与以往的沙尘图像复原方法相比，SandFormer 在合成与真实沙尘场景中均取得了显著的性能提升。
引用
@article{arxiv.2303.04365,
title = {SANDFORMER: CNN and Transformer under Gated Fusion for Sand Dust Image Restoration},
author = {Jun Shi and Bingcai Wei and Gang Zhou and Liye Zhang},
journal= {arXiv preprint arXiv:2303.04365},
year = {2023}
}
备注
ICASSP 2023