CycleMLP：一种用于密集预测的类 MLP 架构
计算机视觉与模式识别
2022-03-21 v4
摘要
本文提出一种简单的类 MLP 架构 CycleMLP，它是用于视觉识别与密集预测的通用骨干网络。相较于现代 MLP 架构（如 MLP-Mixer、ResMLP 和 gMLP），其架构与图像尺寸相关，因而在目标检测与分割中不可行，CycleMLP 相较于现代方法具有两点优势：（1）可处理各种图像尺寸。（2）通过使用局部窗口，其对图像尺寸呈线性计算复杂度。相比之下，先前的 MLP 因全空间连接而具有 的计算量。我们构建了一系列模型，在使用更少参数与 FLOPs 的同时，超越了现有 MLP 乃至最先进的基于 Transformer 的模型（如 Swin Transformer）。我们拓展了类 MLP 模型的适用性，使其成为密集预测任务的通用骨干。CycleMLP 在目标检测、实例分割与语义分割上取得了具竞争力的结果。特别地，CycleMLP-Tiny 在 ADE20K 数据集上以更少 FLOPs 比 Swin-Tiny 高出 1.3% mIoU。此外，CycleMLP 在 ImageNet-C 数据集上也展现出优异的零样本鲁棒性。代码见 https://github.com/ShoufaChen/CycleMLP。
引用
@article{arxiv.2107.10224,
title = {CycleMLP: A MLP-like Architecture for Dense Prediction},
author = {Shoufa Chen and Enze Xie and Chongjian Ge and Runjian Chen and Ding Liang and Ping Luo},
journal= {arXiv preprint arXiv:2107.10224},
year = {2022}
}
备注
ICLR 2022 (Oral). Camera-ready Code: https://github.com/ShoufaChen/CycleMLP