BD-KD：平衡散度以实现在线知识蒸馏
计算机视觉与模式识别
2024-12-17 v2
摘要
我们致力于解决为边缘设备生成可信且精确的紧凑模型的挑战。尽管知识蒸馏（KD）在模型压缩方面已实现高准确率性能，但这些紧凑模型的校准问题却被忽视。我们提出BD-KD（平衡散度知识蒸馏），一种基于logit的在线KD框架。BD-KD同时提升准确率和模型校准，无需事后重校准技术，后者会给整体训练流程增加计算开销并降低性能。我们的方法通过调整学生和教师损失上的常规在线蒸馏损失、采用前向与反向Kullback-Leibler散度的样本级加权，来促进以学生为中心的训练。该策略平衡学生网络置信度并提升性能。在CIFAR10、CIFAR100、TinyImageNet和ImageNet数据集及多种架构上的实验表明，与近期在线KD方法相比，校准和准确率均有改善。
引用
@article{arxiv.2212.12965,
title = {BD-KD: Balancing the Divergences for Online Knowledge Distillation},
author = {Ibtihel Amara and Nazanin Sepahvand and Brett H. Meyer and Warren J. Gross and James J. Clark},
journal= {arXiv preprint arXiv:2212.12965},
year = {2024}
}