动态温度知识蒸馏
机器学习
2024-04-22 v1 人工智能
计算机视觉与模式识别
摘要
在知识蒸馏 (KD) 领域，温度在调节标签平滑度方面起着关键作用。传统方法通常在整个 KD 过程中使用静态温度，这无法应对具有不同难度样本的细微复杂性，且忽略了不同师生配对的独特能力。这导致知识传递不够理想。为了改进知识传播过程，我们提出了动态温度知识蒸馏 (DTKD)，在每次训练迭代中为教师和学生模型同时引入动态、协同的温度控制。具体而言，我们提出了“锐度 (sharpness)”作为量化模型输出分布平滑度的指标。通过最小化教师和学生之间的锐度差异，我们可以分别为它们推导出特定于样本的温度。在 CIFAR-100 和 ImageNet-2012 上的大量实验表明，DTKD 的性能与领先的 KD 技术相当，并且在目标类 KD 和非目标类 KD 场景中具有更强的鲁棒性。代码可在 https://github.com/JinYu1998/DTKD 获取。
引用
@article{arxiv.2404.12711,
title = {Dynamic Temperature Knowledge Distillation},
author = {Yukang Wei and Yu Bai},
journal= {arXiv preprint arXiv:2404.12711},
year = {2024}
}