视觉智能中的知识蒸馏与学生-教师学习：综述与新展望
计算机视觉与模式识别
2021-06-18 v7 人工智能
机器学习
摘要
近年来，深度神经模型在几乎所有领域都取得了成功，包括极其复杂的问题。然而，这些模型规模庞大，拥有数百万（甚至数十亿）参数，因而需要更强的计算能力，且无法部署在边缘设备上。此外，性能提升高度依赖于冗余的标注数据。为实现更快的速度并处理因数据缺乏所引起的问题，人们提出了知识蒸馏（KD）以将一个模型所学信息迁移到另一个模型。KD通常以所谓的学生-教师（S-T）学习框架为特征，并已广泛应用于模型压缩与知识迁移。本文关注近年来被积极研究的KD与S-T学习。首先，我们旨在解释KD是什么以及它如何/为何有效。接着，我们全面综述了KD方法以及通常面向视觉任务的S-T框架的最新进展。总体上，我们考量了一些推动该研究领域发展的基本问题，并透彻地归纳了研究进展与技术细节。此外，我们系统分析了KD在视觉应用中的研究现状。最后，我们讨论了现有方法的潜力与开放挑战，并展望KD与S-T学习的未来方向。
引用
@article{arxiv.2004.05937,
title = {Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks},
author = {Lin Wang and Kuk-Jin Yoon},
journal= {arXiv preprint arXiv:2004.05937},
year = {2021}
}
备注
Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),2021. Some references are updated in this version