MB-TaylorFormer：基于泰勒公式扩展的多分支高效Transformer图像去雾网络
计算机视觉与模式识别
2023-08-31 v2
摘要
近年来，凭借全局感受野和对输入的适应性，Transformer 网络开始在计算机视觉领域取代纯卷积神经网络（CNNs）。然而，softmax 注意力的二次计算复杂度限制了其在图像去雾任务中的广泛应用，尤其对高分辨率图像。为解决此问题，我们提出一种新的 Transformer 变体，应用泰勒展开近似 softmax 注意力并实现线性计算复杂度。提出多尺度注意力细化模块作为补充以纠正泰勒展开的误差。此外，我们将具有多尺度块嵌入的多分支架构引入所提 Transformer，通过不同尺度的重叠可变形卷积嵌入特征。多尺度块嵌入的设计基于三个关键理念：1）不同大小的感受野；2）多层次语义信息；3）灵活形状的感受野。我们的模型称为基于泰勒公式扩展的多分支 Transformer（MB-TaylorFormer），可在块嵌入阶段更灵活地嵌入由粗到细的特征，并以有限计算成本捕获长距离像素交互。在多个去雾基准上的实验结果表明，MB-TaylorFormer 以较轻的计算负担取得了最先进（SOTA）性能。源代码与预训练模型见 https://github.com/FVL2020/ICCV-2023-MB-TaylorFormer。
引用
@article{arxiv.2308.14036,
title = {MB-TaylorFormer: Multi-branch Efficient Transformer Expanded by Taylor Formula for Image Dehazing},
author = {Yuwei Qiu and Kaihao Zhang and Chenxi Wang and Wenhan Luo and Hongdong Li and Zhi Jin},
journal= {arXiv preprint arXiv:2308.14036},
year = {2023}
}
备注
ICCV 2023