DisWOT：无需训练的知识蒸馏学生架构搜索
计算机视觉与模式识别
2023-03-29 v1 人工智能
机器学习
摘要
知识蒸馏（KD）是一种在庞大教师模型指导下提升轻量级学生模型性能的有效训练策略。然而，师生对之间巨大的架构差异限制了蒸馏收益。与以往减小师生差距的自适应蒸馏方法不同，我们探索了一种新颖的免训练框架，为给定教师搜索最佳学生架构。我们的工作首先通过经验表明，在普通训练下的最优模型并非蒸馏中的胜出者。其次，我们发现随机初始化的师生网络之间特征语义与样本关系的相似度与最终蒸馏性能具有良好的相关性。因此，我们基于语义激活图高效地度量相似度矩阵，并通过进化算法在无任何训练的情况下选择最优学生。以此方式，我们的无需训练蒸馏学生架构搜索（DisWOT）以至少180的训练加速显著提升了模型在蒸馏阶段的性能。此外，我们将DisWOT中的相似度度量扩展为新的蒸馏器以及基于KD的零代理。我们在CIFAR、ImageNet和NAS-Bench-201上的实验表明，我们的技术在不同搜索空间上均达到了最先进的结果。我们的项目和代码可在 https://lilujunai.github.io/DisWOT-CVPR2023/ 获取。
引用
@article{arxiv.2303.15678,
title = {DisWOT: Student Architecture Search for Distillation WithOut Training},
author = {Peijie Dong and Lujun Li and Zimian Wei},
journal= {arXiv preprint arXiv:2303.15678},
year = {2023}
}
备注
Accepted by CVPR2023