用于有效知识蒸馏的激活图自适应
计算机视觉与模式识别
2022-04-15 v2 机器学习
摘要
由于需在嵌入式与移动设备上部署神经网络，模型压缩成为近期趋势。因此，准确率与效率均至关重要。为探索二者间的平衡，我们提出了一种面向通用视觉表示学习的知识蒸馏策略。其利用精心设计的激活图自适应模块替换教师网络的部分块，在训练过程中自适应探索最合适的监督特征。使用教师隐藏层输出促使学生网络训练，从而迁移有效语义信息。为验证策略有效性，本文将方法应用于 cifar-10 数据集。结果表明，该方法能以 6.5% 的损失缩减将学生网络准确率提升 0.6%，并显著加快其训练速度。
引用
@article{arxiv.2010.13500,
title = {Activation Map Adaptation for Effective Knowledge Distillation},
author = {Zhiyuan Wu and Hong Qi and Yu Jiang and Minghao Zhao and Chupeng Cui and Zongmin Yang and Xinhui Xue},
journal= {arXiv preprint arXiv:2010.13500},
year = {2022}
}
备注
This is my first paper, which is not well written