Dual-former：用于高效图像复原的混合自注意力 Transformer
计算机视觉与模式识别
2022-10-04 v1
摘要
近来，图像复原 Transformer 已取得与先前最先进 CNN 相当的性能。然而，如何高效利用此类架构仍是一个开放问题。本工作中，我们提出 Dual-former，其关键见解是在整体架构中结合自注意力模块的强大全局建模能力与卷积的局部建模能力。在编码器与解码器中配备基于卷积的局部特征提取模块后，我们仅在潜层采用一种新颖的混合 Transformer 模块来建模空间维度上的长距离依赖并处理通道间的不均匀分布。这样的设计消除了先前图像复原 Transformer 中的大量计算复杂度，并在多个图像复原任务上取得了优越性能。实验表明，在单幅图像去雾的 Indoor 数据集上，Dual-former 相比最先进的 MAXIM 方法取得了 1.91dB 增益，而仅消耗 MAXIM 的 4.2% GFLOPs。对于单幅图像去雨，其在五个数据集的平均结果上以仅 21.5% GFLOPs 超过 SOTA 方法 0.1dB PSNR。Dual-former 还在多个数据集上大幅超越最新的除雪方法，且参数量更少。
引用
@article{arxiv.2210.01069,
title = {Dual-former: Hybrid Self-attention Transformer for Efficient Image Restoration},
author = {Sixiang Chen and Tian Ye and Yun Liu and Erkang Chen},
journal= {arXiv preprint arXiv:2210.01069},
year = {2022}
}