面向神经网络模型的多功能知识蒸馏范式选择性综述
机器学习
2020-12-01 v1 人工智能
摘要
本文旨在提供关于知识蒸馏（KD）框架的选择性综述，以帮助研究者和从业者利用其在深度神经网络领域开发新的优化模型。为此，我们简要概述知识蒸馏及一些相关工作，包括利用特权信息学习（LUPI）与广义蒸馏（GD）。尽管基于师生架构的知识蒸馏最初是作为模型压缩技术提出的，但已在多种框架中发现了其多功能性应用。本文从知识蒸馏的三个重要要素——蒸馏知识与损失、师生范式、蒸馏过程——的假设出发，综述知识蒸馏的特征。此外，我们通过研究知识蒸馏的直接应用及其与其他深度学习范式结合的使用来考察其多功能性。最后，我们给出知识蒸馏的一些未来工作，包括可解释知识蒸馏（研究性能提升的解析分析）以及自监督学习（深度学习界的热点研究课题）。
引用
@article{arxiv.2011.14554,
title = {A Selective Survey on Versatile Knowledge Distillation Paradigm for Neural Network Models},
author = {Jeong-Hoe Ku and JiHun Oh and YoungYoon Lee and Gaurav Pooniwala and SangJeong Lee},
journal= {arXiv preprint arXiv:2011.14554},
year = {2020}
}
备注
15 pages, 19 figures