面向知识学习的师生架构：综述
机器学习
2022-11-01 v1 计算机视觉与模式识别
摘要
尽管深度神经网络（DNNs）已展现出解决诸多领域大规模问题的强大能力，但此类具有海量参数的 DNNs 难以部署于实时系统中。为解决该问题，师生架构最初用于知识蒸馏，其中简单的学生网络可达到与深层教师网络相媲美的性能。近来，师生架构已有效且广泛地应用于多种知识学习目标，包括知识蒸馏、知识扩展、知识适配与多任务学习。借助师生架构，当前研究能够通过轻量且高效的学生网络实现多重知识学习目标。与现有知识蒸馏综述不同，本综述详细探讨了具有多重知识学习目标的师生架构。此外，我们系统介绍了知识学习过程中的知识构建与优化，并分析了各类被用于学习具代表性与鲁棒知识的师生架构及有效学习方案。本文还基于不同目的（即分类、识别与生成）总结了师生架构的最新应用。最后，分别从师生架构设计、知识质量以及基于回归学习的理论研究方面探讨了知识学习的潜在研究方向。通过本综述，产业界从业者与学术界均可获得关于多重知识学习目标下师生架构的深入指导。
引用
@article{arxiv.2210.17332,
title = {Teacher-Student Architecture for Knowledge Learning: A Survey},
author = {Chengming Hu and Xuan Li and Dan Liu and Xi Chen and Ju Wang and Xue Liu},
journal= {arXiv preprint arXiv:2210.17332},
year = {2022}
}