弥合密集目标检测中蒸馏的跨任务协议不一致性

知识蒸馏（KD）在密集目标检测中已展现出学习紧凑模型的潜力。然而，常用的基于 softmax 的蒸馏忽略了各独立类别的绝对分类分数。因此，蒸馏损失的最优解未必能导出密集目标检测器的最优学生分类分数。这种跨任务协议不一致性至关重要，尤其对密集目标检测器，因为前景类别极度不平衡。为解决蒸馏与分类间的协议差异问题，我们提出一种具有跨任务一致协议的新型蒸馏方法，专为密集目标检测设计。对于分类蒸馏，我们将教师与学生模型中的分类 logit 图均表述为多个二分类图，并对每张图施加二分类蒸馏损失，从而解决跨任务协议不一致问题。对于定位蒸馏，我们设计了基于 IoU 的定位蒸馏损失，其不依赖于特定网络结构，且可与现有定位蒸馏损失比较。我们所提方法简洁而有效，实验结果证明了其相对于现有方法的优越性。代码见 https://github.com/TinyTigerPan/BCKD。