知识蒸馏与其他技术的正交性：从集成视角出发
机器学习
2020-09-15 v2 人工智能
摘要
要将最先进的神经网络投入实际使用，有必要设计在资源消耗与测试集性能之间具有良好权衡的模型。许多研究者和工程师正开发能够更高效训练或设计模型的方法。开发高效模型包含若干策略，如网络架构搜索、剪枝、量化、知识蒸馏、利用廉价卷积、正则化，以及任何带来更优性能-资源权衡的技巧。当将这些技术组合时，理想情况是某一性能提升来源不与其他来源冲突。我们称此性质为模型效率中的正交性。本文聚焦知识蒸馏，并从分析与经验两方面证明知识蒸馏方法与其他效率提升方法正交。在分析上，我们主张知识蒸馏的功能类似于一种集成方法——自助聚合（bootstrap aggregating）。该分析解释由知识蒸馏的隐式数据增强性质视角给出。在经验上，我们验证知识蒸馏作为高效神经网络实际部署的有力工具，并介绍了将其与其他方法有效整合的途径。
引用
@article{arxiv.2009.04120,
title = {On the Orthogonality of Knowledge Distillation with Other Techniques: From an Ensemble Perspective},
author = {SeongUk Park and KiYoon Yoo and Nojun Kwak},
journal= {arXiv preprint arXiv:2009.04120},
year = {2020}
}
备注
Under review