用于知识蒸馏的课程温度
计算机视觉与模式识别
2022-12-27 v3
摘要
大多数现有蒸馏方法忽略了温度在损失函数中的灵活作用，并将其固定为可通过低效网格搜索确定的超参数。一般而言，温度控制两个分布之间的差异，并能准确决定蒸馏任务的难度水平。保持恒定温度，即固定任务难度水平，对于处于渐进学习阶段的成长中学生模型通常是次优的。本文提出一种简单的基于课程的技术，称为用于知识蒸馏的课程温度（CTKD），其通过动态可学习的温度来控制学生模型学习过程中的任务难度水平。具体而言，遵循由易到难的 curriculum，我们逐步增加关于温度的蒸馏损失，从而以对抗方式提升蒸馏难度。作为一种易用的即插即用技术，CTKD可无缝集成到现有知识蒸馏框架中，并以可忽略的额外计算成本带来普遍提升。在CIFAR-100、ImageNet-2012和MS-COCO上的大量实验证明了我们方法的有效性。我们的代码见 https://github.com/zhengli97/CTKD。
引用
@article{arxiv.2211.16231,
title = {Curriculum Temperature for Knowledge Distillation},
author = {Zheng Li and Xiang Li and Lingfeng Yang and Borui Zhao and Renjie Song and Lei Luo and Jun Li and Jian Yang},
journal= {arXiv preprint arXiv:2211.16231},
year = {2022}
}
备注
AAAI 2023