面向类别级信息迁移的余弦相似度知识蒸馏
计算机视觉与模式识别
2023-11-27 v1
摘要
以往基于logits的知识蒸馏（KD）利用了每个样本关于多个类别（即类预测）的预测，并采用Kullback-Leibler（KL）散度来缩小学生与教师预测之间的差异。尽管KD技术层出不穷，学生模型仍未能达到与教师相近的水平。为此，我们提出了一种新颖且有效的KD方法，能够获得与教师模型性能相当或更优的结果。我们利用教师与学生关于每个类别的多个样本的预测（即批次预测），并应用余弦相似度——一种在自然语言处理（NLP）中常用于衡量文本嵌入相似度的技术。该度量固有的尺度不变性（仅依赖向量方向而非幅值）使学生能够动态地从教师知识中学习，而不受教师知识固定分布的束缚。此外，我们提出一种称为余弦相似度加权温度（CSWT）的方法来提升性能。当学生与教师模型间余弦相似度较高时，CSWT降低KD中的温度缩放；反之，当余弦相似度较低时则增大温度缩放。这一调整优化了从教师到学生模型的信息迁移。大量实验结果表明，我们提出的方法可作为现有方法的可行替代方案。我们期望该方法能为未来模型压缩研究提供有价值的见解。
引用
@article{arxiv.2311.14307,
title = {Cosine Similarity Knowledge Distillation for Individual Class Information Transfer},
author = {Gyeongdo Ham and Seonghak Kim and Suin Lee and Jae-Hyeok Lee and Daeshik Kim},
journal= {arXiv preprint arXiv:2311.14307},
year = {2023}
}
备注
13 pages, 5 figures