面向知识蒸馏的学生导向教师知识精炼
计算机视觉与模式识别
2024-09-30 v1
摘要
知识蒸馏因其能够将知识从大型教师网络迁移到紧凑且更精简的学生网络而得到广泛认可。传统的知识蒸馏方法主要遵循教师导向的范式，将学习教师复杂知识的任务强加给学生网络。然而，模型容量和架构设计上的显著差异阻碍了学生对教师所传授复杂知识的理解，导致性能次优。本文引入了一种新颖的视角，强调以学生为导向并精炼教师的知识以更好地契合学生的需求，从而提高知识迁移的有效性。具体而言，我们提出了面向学生的知识蒸馏，在训练过程中结合可学习的特征增强策略，动态精炼教师对学生而言的知识。此外，我们部署了显著区域检测模块以识别教师和学生之间的共同兴趣区域，将知识迁移集中在这些关键区域内，以避免迁移无关信息。这种定制化模块确保了更集中、更有效的知识蒸馏过程。我们的方法作为插件发挥作用，可以与各种知识蒸馏方法集成。广泛的实验结果证明了我们方法的有效性和泛化能力。
引用
@article{arxiv.2409.18785,
title = {Student-Oriented Teacher Knowledge Refinement for Knowledge Distillation},
author = {Chaomin Shen and Yaomin Huang and Haokun Zhu and Jinsong Fan and Guixu Zhang},
journal= {arXiv preprint arXiv:2409.18785},
year = {2024}
}