BicKD：双向对比知识蒸馏
机器学习
2026-05-01 v2
摘要
知识蒸馏 (KD) 是将教师模型中的知识传递给学生模型的机器学习框架。Hinton 等人提出的基础 KD 已成为基于 logits 的蒸馏主导方法，表现出令人印象深刻的性能。然而，它仅在教师和学生预测之间的样本级概率对齐上进行，缺乏对类别级比较的机制。此外，基础 KD 对概率空间不施加结构约束。本文提出一种简单而有效的方法，双向对比知识蒸馏 (BicKD)。该方法引入新颖的双向对比损失，通过强化不同类别一般化空间之间的正交性，同时保持同一类别内的一致性。双向表述使教师和学生之间的样本级和类别级预测模式进行显式比较。通过强调概率正交性，BicKD 进一步正规化了预测分布的几何结构。大量实验表明，我们的 BicKD 方法提升了知识传递效果，跨越各种模型架构和基准测试，始终优于最先进的知识蒸馏技术。
引用
@article{arxiv.2602.01265,
title = {BicKD: Bilateral Contrastive Knowledge Distillation},
author = {Jiangnan Zhu and Yukai Xu and Li Xiong and Yixuan Liu and Junxu Liu and Hong kyu Lee and Yujie Gu},
journal= {arXiv preprint arXiv:2602.01265},
year = {2026}
}
备注
Accepted to the 2026 IEEE/INNS International Joint Conference on Neural Networks (IJCNN 2026)