探索不同教师容量下的暗知识并解决容量不匹配问题
机器学习
2025-06-09 v2
摘要
知识蒸馏（KD）可以将性能优异但庞大的神经网络的“暗知识”转移到较弱但轻量级的网络中。从输出 logits 和软化概率的视角出发，本文深入探讨了不同容量教师提供的暗知识。两个基本观察结果是：（1）更大的教师倾向于产生非真实类别间区分度较低的概率向量；（2）不同容量的教师在相对类别亲和性的认知上基本一致。通过大量的实验研究，我们验证了这些观察结果，并提供了深入的经验性解释。我们认为，不正确类别之间的区分度体现了暗知识的本质。更大、更准确的教师缺乏这种区分度，这削弱了其相比于更小教师的教学能力，最终导致了被称为“容量不匹配”的奇特现象。基于这一见解，本文探索了多种简单而有效的方法来解决容量不匹配问题，与以往方法相比取得了更优的实验结果。
引用
@article{arxiv.2405.13078,
title = {Exploring Dark Knowledge under Various Teacher Capacities and Addressing Capacity Mismatch},
author = {Wen-Shu Fan and Xin-Chun Li and De-Chuan Zhan},
journal= {arXiv preprint arXiv:2405.13078},
year = {2025}
}