Swin-Free：利用尺寸可变窗口实现更优跨窗口注意力与效率

Jinkyu Koo; John Yang; Le An; Gwenaelle Cunha Sergio; Su Inn Park

Swin-Free：利用尺寸可变窗口实现更优跨窗口注意力与效率

计算机视觉与模式识别 2023-06-27 v1 机器学习

作者: Jinkyu Koo , John Yang , Le An , Gwenaelle Cunha Sergio , Su Inn Park

摘要

Transformer模型在语言任务取得成功之后，在计算机视觉中展现出巨大潜力。Swin Transformer是其中之一，其在准确率上优于基于卷积的架构，同时与输入尺寸呈二次复杂度的Vision Transformer (ViT)及其变体相比提高了效率。Swin Transformer采用移位窗口，在将自注意力计算限制在非重叠局部窗口的同时实现跨窗口连接。然而，移位窗口引入了内存拷贝操作，占其运行时间的很大一部分。为缓解此问题，我们提出Swin-Free，其中我们在各阶段应用尺寸可变窗口，而非移位窗口，以实现局部窗口间的跨连接。通过这一简单的设计改变，Swin-Free在推理时比Swin Transformer运行更快且准确率更高。此外，我们还提出了几种比对应Swin Transformer更快的Swin-Free变体。

关键词

Swin Transformer 跨窗口注意力尺寸可变窗口 Vision Transformer 图像分类推理效率

引用

@article{arxiv.2306.13776,
  title  = {Swin-Free: Achieving Better Cross-Window Attention and Efficiency with Size-varying Window},
  author = {Jinkyu Koo and John Yang and Le An and Gwenaelle Cunha Sergio and Su Inn Park},
  journal= {arXiv preprint arXiv:2306.13776},
  year   = {2023}
}

备注

8 pages, 3 figures

Swin-Free：利用尺寸可变窗口实现更优跨窗口注意力与效率

摘要

关键词

引用

备注

相关论文