面向知识蒸馏的平衡散度
计算机视觉与模式识别
2025-01-15 v1
摘要
知识蒸馏已被广泛应用于计算机视觉任务处理中，因为它可以通过利用从笨重的教师网络迁移的知识，有效提升轻量级学生网络的性能。大多数现有的知识蒸馏方法利用Kullback-Leibler散度来模仿教师网络和学生网络之间的逻辑输出概率。然而，这些方法可能忽略了教师“暗知识”的负部分，因为散度计算可能会忽略教师逻辑输出中微小概率的影响。这一缺陷可能导致蒸馏过程中的逻辑模仿性能次优，并导致学生网络获取的信息不平衡。在本文中，我们研究了这种不平衡的影响，并提出了一种名为平衡散度蒸馏的新方法。通过引入使用反向Kullback-Leibler散度的补偿操作，我们的方法可以改进对教师负部分中极小值的建模，并保持对正部分的学习能力。此外，我们测试了不同温度系数调整的影响，这可以进一步平衡知识迁移。我们在多个计算机视觉任务上评估了所提方法，包括图像分类和语义分割。评估结果表明，我们的方法在CIFAR-100和ImageNet数据集上为轻量级学生网络实现了1%~3%的准确率提升，并在Cityscapes数据集上为PSP-ResNet18带来了4.55%的mIoU提升。实验表明，我们的方法是一种简单但高效的解决方案，可以平滑地应用于不同的知识蒸馏方法。
引用
@article{arxiv.2501.07804,
title = {Balance Divergence for Knowledge Distillation},
author = {Yafei Qi and Chen Wang and Zhaoning Zhang and Yaping Liu and Yongmin Zhang},
journal= {arXiv preprint arXiv:2501.07804},
year = {2025}
}