理解投影器在知识蒸馏中的作用
计算机视觉与模式识别
2023-10-27 v1 人工智能
摘要
通常，在知识蒸馏过程（如特征蒸馏）中，由于教师网络与学生网络之间的维度不匹配，往往需要额外的投影器来进行特征变换。有趣的是，我们发现即便学生与教师具有相同的特征维度，添加投影器仍有助于提升蒸馏性能。此外，若也将投影器加入架构中，其甚至能改善 logit 蒸馏。受这些令人惊讶的发现以及现有文献对知识蒸馏过程中投影器普遍缺乏理解的启发，本文研究了投影器所扮演但迄今被忽视的隐式角色。我们的实证研究表明，带投影器的学生网络（1）在与教师特征维度相同时，相较于无投影器的学生取得了训练精度与测试精度之间更好的权衡；（2）从 Centered Kernel Alignment（CKA）的视角看，比浅层与数值层面的相似更好地保持了与教师的相似性；（3）避免了在测试阶段像教师那样过度自信。受投影器积极效果的推动，我们提出了一种基于投影器集成的特征蒸馏方法以进一步提升蒸馏性能。尽管所提策略简单，在基准数据集上分类任务的评估实证结果显示，我们的方法在广泛的师生配对上均具有更优的分类性能，并从 CKA 与模型校准方面验证了投影器集成设计下学生特征质量得到改善。
引用
@article{arxiv.2310.17183,
title = {Understanding the Effects of Projectors in Knowledge Distillation},
author = {Yudong Chen and Sen Wang and Jiajun Liu and Xuwei Xu and Frank de Hoog and Brano Kusy and Zi Huang},
journal= {arXiv preprint arXiv:2310.17183},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2210.15274