多视角对比Logit蒸馏

在以往的知识蒸馏研究中，logit蒸馏的重要性常被忽视。为重振logit蒸馏，我们通过基于logit的语义属性重新审视其计算，并探索如何更高效地利用它，提出了新视角。Logit往往包含大量高层语义信息；然而，利用logit计算Kullback-Leibler（KL）散度的传统方法未考虑其语义属性。此外，直接计算KL散度无法充分发挥logit的潜力。为应对这些挑战，我们提出一种新颖高效的logit蒸馏方法——多视角对比Logit蒸馏（MCLD），大幅提升了logit蒸馏的性能与效效。与现有logit蒸馏方法及复杂特征蒸馏方法相比，MCLD在图像分类和迁移学习任务上跨多个数据集（包括CIFAR-100、ImageNet、Tiny-ImageNet和STL-10）达到最先进性能。此外，MCLD展现出卓越的训练效率，在Vision Transformers上的蒸馏表现优异，进一步凸显其显著优势。本研究揭示了logit在知识蒸馏中的巨大潜力，并为未来研究提供有价值见解。