通过实例级序列学习的知识蒸馏
计算机视觉与模式识别
2021-06-22 v1
摘要
近来，人们提出蒸馏方法以从教师网络中提取通用知识来指导学生网络。大多数现有方法通过输入从数据中均匀采样的随机小批量序列，将知识从教师网络传递给学生。相反，我们认为紧凑的学生网络应使用按有意义序列排序的样本逐步引导。这样，它可以一步步弥合教师与学生网络之间的特征表示差距。本工作中，我们提供了一种通过实例级序列学习的课程学习知识蒸馏框架。它利用早期轮次的学生网络作为快照，为学生网络的下一训练阶段创建课程。我们在 CIFAR-10、CIFAR-100、SVHN 和 CINIC-10 数据集上进行了大量实验。与几种最先进的方法相比，我们的框架以更少的迭代次数取得了最佳性能。
引用
@article{arxiv.2106.10885,
title = {Knowledge Distillation via Instance-level Sequence Learning},
author = {Haoran Zhao and Xin Sun and Junyu Dong and Zihe Dong and Qiong Li},
journal= {arXiv preprint arXiv:2106.10885},
year = {2021}
}