DynamicKD：基于动态熵校正蒸馏以优化差距的有效知识蒸馏方法
计算机视觉与模式识别
2023-05-10 v1
摘要
知识蒸馏利用高性能教师网络指导学生网络。然而，教师与学生网络间的性能差距会影响学生的训练。本文提出一种基于动态熵校正的新型知识蒸馏算法，通过调节学生而非教师来缩小差距。首先，理论上分析了学生输出熵（即输出信息熵简称）的变化对蒸馏损失的影响。本文表明校正输出熵可缩小差距。随后，创建基于动态熵校正的知识蒸馏算法，其借助由蒸馏损失动态更新的熵控制器实时校正输出熵。所提算法在 CIFAR100 与 ImageNet 上得到验证。与多种最先进蒸馏算法的比较展现出令人印象深刻的結果，尤其在 CIFAR100 上关于教师-学生对 resnet32x4-resnet8x4 的实验中。所提算法在分类准确率上较传统蒸馏算法提升 2.64 个百分点，较最先进算法 CRD 提升 0.87 个百分点，证明了其有效性与高效性。
引用
@article{arxiv.2305.05233,
title = {DynamicKD: An Effective Knowledge Distillation via Dynamic Entropy Correction-Based Distillation for Gap Optimizing},
author = {Songling Zhu and Ronghua Shang and Bo Yuan and Weitong Zhang and Yangyang Li and Licheng Jiao},
journal= {arXiv preprint arXiv:2305.05233},
year = {2023}
}