PURSUhInT:基于层聚类搜索知识蒸馏中信息性提示点
机器学习
2022-11-07 v3 计算机视觉与模式识别
摘要
模型压缩最高效的方法之一是提示蒸馏,其中学生模型被注入来自教师模型若干不同层的信息(提示)。尽管提示点的选择会极大地改变压缩性能,传统的蒸馏方法忽视了这一事实,并使用早期研究中相同的提示点。因此,我们提出一种基于聚类的提示选择方法,其中教师模型的各层根据若干度量进行聚类,并将聚类中心用作提示点。一旦应用于所选教师网络,我们的方法适用于任何学生网络。所提方法在 CIFAR-100 与 ImageNet 数据集上,使用多种师生对与众多提示蒸馏方法进行了验证。我们的结果表明,在相同学生模型与数据集上,由我们的算法选择的提示点相较于最先进的知识蒸馏算法带来了更优的压缩性能。
引用
@article{arxiv.2103.00053,
title = {PURSUhInT: In Search of Informative Hint Points Based on Layer Clustering for Knowledge Distillation},
author = {Reyhan Kevser Keser and Aydin Ayanzadeh and Omid Abdollahi Aghdam and Caglar Kilcioglu and Behcet Ugur Toreyin and Nazim Kemal Ure},
journal= {arXiv preprint arXiv:2103.00053},
year = {2022}
}
备注
Our codes are published on Code Ocean, where the link to our codes is: https://codeocean.com/capsule/4245746/tree/v1