来自教师的少或多：利用三边几何进行知识蒸馏

知识蒸馏旨在使用来自较大教师网络的软监督和来自真实标签的硬监督来训练紧凑的学生网络。然而，确定平衡这些监督信号的最优知识融合比仍然具有挑战性。先前的方法通常采用恒定或基于启发式的融合比，这往往无法达到适当的平衡。在本研究中，我们引入了一种新颖的自适应方法，用于学习样本级的知识融合比，同时利用教师和学生的正确性以及学生在每个样本上模仿教师的好坏。我们的方法自然导致了学生预测（S）、教师预测（T）和真实标签（G）之间的样本内三边几何关系。为了抵消异常值的影响，我们进一步扩展到样本间关系，纳入了同一类别内样本的教师全局平均预测T̅。然后，一个简单的神经网络以双层优化的方式学习从样本内和样本间关系到自适应、样本级知识融合比的隐式映射。我们的方法为知识蒸馏提供了一种简单、实用且可适应的解决方案，可应用于各种架构和模型大小。大量实验表明，在图像分类、攻击检测和点击率预测任务上，该方法持续优于其他损失重加权方法。