论解释知识蒸馏：测量与可视化知识迁移过程
计算机视觉与模式识别
2024-12-19 v1 人工智能
机器学习
摘要
知识蒸馏（KD）仍然具有挑战性，因为从教师到学生的知识迁移过程不透明，使得解决与KD相关的某些问题变得困难。为此，我们提出了UniCAM，一种新颖的基于梯度的可视化解释方法，能够有效解释KD过程中学到的知识。实验结果表明，在教师知识的指导下，学生模型变得更加高效，学习更多相关特征同时丢弃不相关特征。我们将教师指导下学到的特征称为蒸馏特征，将与任务无关且被学生忽略的特征称为残差特征。蒸馏特征聚焦于输入的关键方面，如纹理和物体部分。相比之下，残差特征表现出更分散的注意力，通常针对不相关区域，包括目标物体的背景。此外，我们提出了两个新指标：特征相似度分数（FSS）和相关性分数（RS），用于量化蒸馏知识的相关性。在CIFAR10、ASIRRA和Plant Disease数据集上的实验表明，UniCAM及这两个指标为解释KD过程提供了有价值的见解。
引用
@article{arxiv.2412.13943,
title = {On Explaining Knowledge Distillation: Measuring and Visualising the Knowledge Transfer Process},
author = {Gereziher Adhane and Mohammad Mahdi Dehshibi and Dennis Vetter and David Masip and Gemma Roig},
journal= {arXiv preprint arXiv:2412.13943},
year = {2024}
}
备注
Accepted to 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV'25). Includes 5 pages of supplementary material