通过量化知识解释知识蒸馏
机器学习
2020-03-26 v1 计算机视觉与模式识别
机器学习
摘要
本文提出一种方法，通过量化并分析深度神经网络（DNN）中间层中所编码的与任务相关及任务无关的视觉概念，来解释知识蒸馏的成功。更具体地，提出如下三个假设。1. 知识蒸馏使 DNN 比从原始数据学习到更多的视觉概念。2. 知识蒸馏确保 DNN 倾向于同时学习多种视觉概念；而从原始数据学习的场景中，DNN 顺序地学习视觉概念。3. 知识蒸馏比从原始数据学习产生更稳定的优化方向。据此，我们设计了三类数学度量来评估 DNN 的特征表示。在实验中，我们诊断了多种 DNN，上述假设得到了验证。
引用
@article{arxiv.2003.03622,
title = {Explaining Knowledge Distillation by Quantifying the Knowledge},
author = {Xu Cheng and Zhefan Rao and Yilan Chen and Quanshi Zhang},
journal= {arXiv preprint arXiv:2003.03622},
year = {2020}
}