卷积门控 MLP：结合卷积与 gMLP

据我们所知，这是首篇将卷积引入门控多层感知机（gMLP）的论文，并贡献了这一新颖深度学习架构的实现。Google Brain 于 2021 年 5 月提出了 gMLP。Microsoft 于 2021 年 3 月在视觉 Transformer 中引入了卷积。受 gMLP 和 CvT 的启发，我们在 gMLP 中引入卷积层。CvT 结合了卷积与注意力机制的优势。我们的实现将卷积学习的最佳特性与空间门控 MLP 相结合。此外，本文可视化了 CgMLP 的学习过程。可视化展示了 CgMLP 如何从汽车轮廓等特征中学习。尽管注意力机制是深度学习近期诸多进展的基础，gMLP 提出了一种不使用注意力计算的方法。在基于 Transformer 的方法中，需要使用大量训练数据来学习众多注意力矩阵。在 gMLP 中，利用较小数据集通过迁移学习进行新任务的微调可能具有挑战性。我们实现了 CgMLP 并在 CIFAR 数据集上与 gMLP 进行比较。实验结果探讨了 CgMLP 的泛化能力，而 gMLP 往往严重过拟合训练数据。总之，本文贡献了一种新颖的深度学习架构，并首次通过可视化展示了 CgMLP 的学习机制。