ResMLP：用于图像分类且数据高效训练的纯前馈网络
计算机视觉与模式识别
2021-06-11 v2
摘要
我们提出 ResMLP，一种完全基于多层感知机构建的用于图像分类的架构。它是一个简单的残差网络，交替使用 (i) 图像块在通道间独立且相同地相互作用的线性层，以及 (ii) 每个图像块独立地通道间相互作用的两层前馈网络。当使用包含重度数据增强且可选蒸馏的现代训练策略进行训练时，它在 ImageNet 上获得了令人惊讶的良好精度/复杂度权衡。我们还在自监督设定下训练 ResMLP 模型，以进一步消除使用标注数据集所带来的先验。最后，通过将我们的模型适配到机器翻译，我们取得了令人惊讶的良好结果。我们基于 Timm 库共享了预训练模型与代码。
引用
@article{arxiv.2105.03404,
title = {ResMLP: Feedforward networks for image classification with data-efficient training},
author = {Hugo Touvron and Piotr Bojanowski and Mathilde Caron and Matthieu Cord and Alaaeldin El-Nouby and Edouard Grave and Gautier Izacard and Armand Joulin and Gabriel Synnaeve and Jakob Verbeek and Hervé Jégou},
journal= {arXiv preprint arXiv:2105.03404},
year = {2021}
}