LumiNet：基于感知的统计对数校准知识蒸馏
计算机视觉与模式识别
2025-08-06 v3
摘要
在知识蒸馏文献中，基于特征的方法因其能有效利用庞大的教师模型而占据主导地位。相比之下，旨在从教师模型中蒸馏“暗知识”的基于对数(logit)的方法，通常表现出不如基于特征的方法的性能。为弥补这一差距，我们提出 LumiNet，一种旨在增强基于对数蒸馏的新型知识蒸馏算法。我们引入“感知”概念，旨在基于模型的表征能力校准对数。该概念解决了基于对数的蒸馏方法中的过置信问题，同时引入了一种从教师模型蒸馏知识的新方法。它通过考虑样本与批次中其他样本的关系来重建样本/实例的对数。LumiNet 在 CIFAR-100、ImageNet 和 MSCOCO 等基准上表现出色，优于领先的基于特征的方法，例如，在 ImageNet 上与 ResNet18 和 MobileNetV2 相比的 KD，分别显示出 1.5% 和 2.05% 的提升。代码可在 https://github.com/ismail31416/LumiNet 获取。
引用
@article{arxiv.2310.03669,
title = {LumiNet: Perception-Driven Knowledge Distillation via Statistical Logit Calibration},
author = {Md. Ismail Hossain and M M Lutfe Elahi and Sameera Ramasinghe and Ali Cheraghian and Fuad Rahman and Nabeel Mohammed and Shafin Rahman},
journal= {arXiv preprint arXiv:2310.03669},
year = {2025}
}
备注
Accepted at Transactions on Machine Learning Research (TMLR), August 2025