gSwin：具有移位窗口层次结构的门控MLP视觉模型
计算机视觉与模式识别
2023-09-06 v2 机器学习
摘要
继在语言领域取得成功之后，自注意力机制（transformer）被引入视觉领域并最近取得了巨大成功。此外，作为另一条路线，多层感知机（MLP）也在视觉领域得到探索。这些不同于传统CNN的架构近来备受关注，许多方法已被提出。作为结合参数效率与性能以及图像识别中的局部性和层次性的一种方法，我们提出了gSwin，它融合了两条路线：Swin Transformer和（多头）gMLP。我们展示了我们的gSwin在三个视觉任务（图像分类、目标检测和语义分割）上能够以更小的模型尺寸达到比Swin Transformer更好的准确率。
引用
@article{arxiv.2208.11718,
title = {gSwin: Gated MLP Vision Model with Hierarchical Structure of Shifted Window},
author = {Mocho Go and Hideyuki Tachibana},
journal= {arXiv preprint arXiv:2208.11718},
year = {2023}
}
备注
5 pages, 7 figures, IEEE ICASSP 2023