深度学习中的知识蒸馏及其应用
机器学习
2021-05-21 v1 机器学习
摘要
基于深度学习的模型相对较大，难以在手机与嵌入式设备等资源受限设备上部署。一种可能的解决方案是知识蒸馏，即利用较大模型（教师模型）的信息来训练较小模型（学生模型）。本文给出应用于深度学习模型的知识蒸馏技术综述。为比较不同技术的性能，我们提出一种称为蒸馏度量的新指标。蒸馏度量基于模型规模与准确率得分比较不同的知识蒸馏算法。基于该综述，本文得出并给出了一些有趣的结论。
引用
@article{arxiv.2007.09029,
title = {Knowledge Distillation in Deep Learning and its Applications},
author = {Abdolmaged Alkhulaifi and Fahad Alsahli and Irfan Ahmad},
journal= {arXiv preprint arXiv:2007.09029},
year = {2021}
}
备注
9 pages