基于分类知识蒸馏的温度统一复习
机器学习
2026-03-05 v2 计算机视觉与模式识别
摘要
知识蒸馏的核心思想是让学生学习教师权重中嵌入的关系结构，这通常通过温度参数来实现。尽管该方法广泛使用，但仍然对如何选择合适的温度值，或该值如何取决于其他训练元素(如优化器、教师预训练/微调等)的理解仍有限。在实际中，温度通常通过网格搜索或采用来自先前工作的值，这既耗时又可能在训练设置不同时导致学生性能次优。本文我们认为温度与这些训练组件密切相关，并提出了一个系统性的研究，以全面考察这些相互作用。通过分析这些交叉关系，我们识别并呈现了对温度选择具有显著影响的常见情形，为实践中使用知识蒸馈的开发人员提供了有价值的指导。
引用
@article{arxiv.2603.02430,
title = {A Unified Revisit of Temperature in Classification-Based Knowledge Distillation},
author = {Logan Frank and Jim Davis},
journal= {arXiv preprint arXiv:2603.02430},
year = {2026}
}