可视化嵌入空间以解释知识蒸馏的效果
计算机视觉与模式识别
2021-10-12 v1 机器学习
摘要
近期研究发现，知识蒸馏可有效缩减网络规模并提升泛化能力。例如，在有限标签环境下，预训练的大型教师网络被证明能够引导学生模型，使其最终超越教师。尽管取得这些进展，该方法为何奏效——即所得学生模型“更好”在何处——仍相对不明。为解决此问题，本文利用两种非线性低维嵌入方法（t-SNE与IVIS）来可视化网络中不同层的表征空间。我们针对不同的架构参数与蒸馏方法开展了一系列充分实验。所得可视化结果与度量指标清晰表明，与非蒸馏版本相比，蒸馏引导网络在更早的层中就获得更紧凑的表征空间，从而实现更高准确率。
引用
@article{arxiv.2110.04483,
title = {Visualizing the embedding space to explain the effect of knowledge distillation},
author = {Hyun Seung Lee and Christian Wallraven},
journal= {arXiv preprint arXiv:2110.04483},
year = {2021}
}