基于进化知识蒸馏的学生网络学习
机器学习
2021-03-26 v1
摘要
知识蒸馏通过师生学习提供了一种有效的知识迁移途径，现有多数蒸馏方法采用固定的预训练模型作为教师来监督学生网络的学习。这种方式通常在学习过程中带来教师与学生网络之间较大的能力差距。近期研究观察到，较小的师生能力差距有助于知识迁移。受此启发，我们提出一种进化知识蒸馏方法以提升教师知识的迁移效果。与固定的预训练教师不同，进化教师在线学习，并持续将中间知识迁移以实时监督学生网络学习。为增强中间知识表示与模仿，在对应的师生模块间引入了若干简单的引导模块。如此，学生可同时获取丰富的内部知识并捕捉其成长过程，从而实现有效的学生网络学习。大量实验清晰地证明了我们方法的有效性，以及在低分辨率和少样本视觉识别场景中的良好适应性。
引用
@article{arxiv.2103.13811,
title = {Student Network Learning via Evolutionary Knowledge Distillation},
author = {Kangkai Zhang and Chunhui Zhang and Shikun Li and Dan Zeng and Shiming Ge},
journal= {arXiv preprint arXiv:2103.13811},
year = {2021}
}