面向学生的知识蒸馏
计算机视觉与模式识别
2023-05-19 v1
摘要
在知识蒸馏中，教师模型的知识往往过于复杂，学生模型难以充分处理。然而，现实生活中的优秀教师总会在授课前将复杂内容简化。受此启发，我们提出面向学生的知识蒸馏（SKD），将教师输出简化为新的知识表示，使学生模型的学习更轻松、更有效。SKD 包含一个软化处理模块和一个学习简化器。首先，软化处理利用温度超参数软化教师模型的输出 logits，在一定程度上简化输出，使学习简化器更易处理。学习简化器利用注意力机制进一步简化教师模型的知识，并与学生模型使用蒸馏损失联合训练，这意味着简化过程与学生模型的训练目标相关联，并确保简化后的新教师知识表示更适配特定的学生模型。此外，由于 SKD 不改变蒸馏损失的形式，它可轻松与基于中间层 logits 或特征的其他蒸馏方法结合以提升效果。因此，SKD 具有广泛的适用性。在 CIFAR-100 和 ImageNet 数据集上的实验结果表明，我们的方法在保持高训练效率的同时达到了最先进的性能。
引用
@article{arxiv.2305.10893,
title = {Student-friendly Knowledge Distillation},
author = {Mengyang Yuan and Bo Lang and Fengnan Quan},
journal= {arXiv preprint arXiv:2305.10893},
year = {2023}
}