Caterpillar：一种采用偏移柱拼接的纯 MLP 架构
计算机视觉与模式识别
2024-09-11 v3
摘要
计算机视觉中的建模已演进至 MLP。视觉 MLP 天然缺乏局部建模能力，最简单的处理方式是将其与卷积层结合。卷积以其滑动窗口方案著称，也受限于该方案的冗余性与较低并行计算能力。本文寻求摒弃窗口方案，并引入一种更精细且可并行的方法来利用局部性。为此，我们提出一个新的 MLP 模块，即偏移柱拼接（Shifted-Pillars-Concatenation, SPC），其包含两步处理：(1) 柱偏移（Pillars-Shift），沿四个方向平移输入图像生成四张邻域图；(2) 柱拼接（Pillars-Concatenation），对图施加线性变换与拼接以聚合局部特征。SPC 模块提供了优越的局部建模能力与性能增益，使其成为卷积层一个有前景的替代方案。随后，我们在 sMLPNet 的混合模型中用 SPC 模块替换卷积层，构建了名为 Caterpillar 的纯 MLP 架构。大量实验表明，Caterpillar 在小型规模与 ImageNet-1k 分类基准上均表现优异，并具备显著的扩展性与迁移能力。代码见 https://github.com/sunjin19126/Caterpillar。
引用
@article{arxiv.2305.17644,
title = {Caterpillar: A Pure-MLP Architecture with Shifted-Pillars-Concatenation},
author = {Jin Sun and Xiaoshuang Shi and Zhiyuan Wang and Kaidi Xu and Heng Tao Shen and Xiaofeng Zhu},
journal= {arXiv preprint arXiv:2305.17644},
year = {2024}
}