AS-MLP:一种用于视觉的轴向移位 MLP 架构
计算机视觉与模式识别
2022-03-18 v2
摘要
本文提出了一种轴向移位 MLP 架构(AS-MLP)。不同于 MLP-Mixer 通过矩阵转置和单个 token-mixing MLP 编码全局空间特征以实现信息流动,我们更关注局部特征交互。通过对特征图的通道进行轴向移位,AS-MLP 能够获取来自不同轴向方向的信息流,从而捕获局部依赖关系。这一操作使我们能够利用纯 MLP 架构实现与类 CNN 架构相同的局部感受野。我们还可以本着卷积神经网络同样的精神,设计 AS-MLP 模块的感受野大小与膨胀率等。借助所提出的 AS-MLP 架构,我们的模型在 ImageNet-1K 数据集上以 88M 参数和 15.2 GFLOPs 取得了 83.3% 的 Top-1 准确率。如此简单而有效的架构优于所有基于 MLP 的架构,并与基于 transformer 的架构(如 Swin Transformer)相比取得了具竞争力的性能,即便 FLOPs 略低。此外,AS-MLP 也是首个被应用于下游任务(如目标检测与语义分割)的基于 MLP 的架构。实验结果同样令人印象深刻。我们提出的 AS-MLP 在 COCO 验证集上取得 51.5 mAP,在 ADE20K 数据集上取得 49.5 MS mIoU,与基于 transformer 的架构相比具竞争力。我们的 AS-MLP 建立了基于 MLP 架构的强基线。代码见 https://github.com/svip-lab/AS-MLP。
引用
@article{arxiv.2107.08391,
title = {AS-MLP: An Axial Shifted MLP Architecture for Vision},
author = {Dongze Lian and Zehao Yu and Xing Sun and Shenghua Gao},
journal= {arXiv preprint arXiv:2107.08391},
year = {2022}
}
备注
Accepted by ICLR2022