学生即最佳教师：基于多出口的退出集成蒸馏
计算机视觉与模式识别
2021-04-06 v2 人工智能
机器学习
摘要
本文提出一种新颖的基于知识蒸馏的学习方法，无需预训练教师网络即可提升卷积神经网络（CNNs）的分类性能，称为退出集成蒸馏（exit-ensemble distillation）。我们的方法利用多出口架构，在常规CNN中间添加辅助分类器（称为出口），从而可获取早期推理结果。我们方法的思想是使用这些出口的集成作为蒸馏目标来训练网络，这极大提升了整体网络的分类性能。我们的方法提出了知识蒸馏的新范式；不同于教师只教学生的传统蒸馏观念，我们表明学生也能帮助其他学生甚至教师更好地学习。实验结果表明，我们的方法在各种流行CNN架构（VGG、ResNet、ResNeXt、WideResNet等）上实现了分类性能的显著提升。此外，所提方法能加快学习收敛并改善稳定性。我们的代码将发布于Github。
引用
@article{arxiv.2104.00299,
title = {Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits},
author = {Hojung Lee and Jong-Seok Lee},
journal= {arXiv preprint arXiv:2104.00299},
year = {2021}
}