受神经崩溃启发的知识蒸馏

现有的知识蒸馏(KD)方法已展示出在学生网络性能上与教师持平的能力。然而，教师与学生之间的知识差距仍可能阻碍蒸馏过程的有效性。本文将神经崩溃(NC)的结构引入 KD 框架。NC 通常发生在训练的最后阶段，导致最后一层特征形成单极紧密框架的优雅几何结构。这种现象有助于提高深度网络训练的泛化能力。我们假设 NC 也能缓解蒸馏中的知识差距，从而提升学生性能。本文通过经验分析建立了知识蒸馏与神经崩溃之间的联系。通过该分析，我们确立了将教师的 NC 结构传递给学生有助于蒸馏过程。因此，与现有蒸馏方法仅传递实例级 logits 或特征不同，我们鼓励学生学习教师的 NC 结构。由此，我们提出了一种新的蒸馏范式，称为受神经崩溃启发的知识蒸馏(NCKD)。全面实验表明，NCKD 简单而有效，提升了所有蒸馏学生模型的泛化能力，实现了最先进的准确率性能。