MEAL V2：无需技巧将原始 ResNet-50 在 ImageNet 上提升至 80%+ Top-1 准确率

我们介绍了一个简单而有效的蒸馏框架，能够无需技巧地将原始 ResNet-50 在 ImageNet 上提升至 80%+ Top-1 准确率。我们通过分析现有分类系统中的问题来构建该框架，并简化基于判别器的集成知识蒸馏基础方法：(1) 仅在最终输出上采用相似度损失和判别器；(2) 使用所有教师集成 softmax 概率的平均值作为更强的监督。有趣的是，我们提出了三个新颖的蒸馏视角：(1) 由于软标签也具有正则化效应，权重衰减可减弱甚至完全移除；(2) 为学生使用良好的初始化至关重要；(3) 若权重初始化良好，蒸馏过程中不必要使用 one-hot/硬标签。我们表明，这样一个直接的框架可以在不涉及任何常用技术（如架构修改；ImageNet 之外的外部训练数据；autoaug/randaug；余弦学习率；mixup/cutmix 训练；标签平滑等）的情况下取得最先进结果。我们的方法使用 224x224 单裁剪尺寸的原始 ResNet-50 在 ImageNet 上获得 80.67% 的 top-1 准确率，在相同网络结构下以显著优势超越先前最先进水平。我们的结果可被视为使用知识蒸馏的一个强基线，并且据我们所知，这也是首个无需架构修改或额外训练数据就能将原始 ResNet-50 在 ImageNet 上提升至超过 80% 的方法。在较小的 ResNet-18 上，我们的蒸馏框架一致地从 69.76% 提升至 73.19%，显示了在实际应用中的巨大价值。我们的代码和模型可在 https://github.com/szq0214/MEAL-V2 获取。