知识蒸馏中的教师校准作用
机器学习
2025-08-29 v1 人工智能
计算机视觉与模式识别
摘要
知识蒸馏 (KD) 已成为深度学习中有效模型压缩技术，使能够将大型教师模型中的知识传递给紧凑的学生模型。尽管 KD 已显示出显著的成功，但尚未完全理解哪些因素 contribute to 提高学生性能。本文揭示了教师校准误差与学生准确率之间的强相关性。因此，我们认为教师模型的校准是有效 KD 的重要因素。 Furthermore，我们演示了通过仅采用能降低教师校准误差的校准方法即可提高 KD 性能。我们的算法具有广泛适用性，显示出从分类到检测的各种任务效果。此外，它可以轻松集成到现有最先进的方法中，始终能够实现优异的性能。
引用
@article{arxiv.2508.20224,
title = {The Role of Teacher Calibration in Knowledge Distillation},
author = {Suyoung Kim and Seonguk Park and Junhoo Lee and Nojun Kwak},
journal= {arXiv preprint arXiv:2508.20224},
year = {2025}
}