双头知识蒸馏：利用辅助头增强 Logits 利用

传统知识蒸馏侧重于将学生的预测概率与真实标签和教师的预测概率对齐。然而，从 logits 到预测概率的转换会掩盖某些不可或缺的信息。为了解决这个问题，直观的做法是额外引入 logit 层面的损失函数作为广泛使用的概率层面损失函数的补充，以利用 logits 的潜在信息。不幸的是，我们实证发现，新引入的 logit 层面损失与先前的概率层面损失的融合会导致性能退化，甚至不如单独使用任一损失。我们将这种现象归因于分类头的崩溃，并基于神经崩溃理论进行了理论分析验证。具体而言，两个损失函数的梯度在线性分类器中表现出矛盾，但在主干网络中不存在这种冲突。基于理论分析，我们提出了一种名为双头知识蒸馏的新方法，将线性分类器划分为负责不同损失的两个分类头，从而保留两种损失对主干的有益影响，同时消除对分类头的不利影响。大量实验验证了我们的方法能有效利用 logits 内部的信息，并优于最先进的对比方法。我们的代码可在：https://github.com/penghui-yang/DHKD 获取。