用于知识蒸馏的教师-学生架构：综述

尽管深度神经网络（DNN）已在许多领域展现出解决大规模问题的强大能力，但此类 DNN 因其海量参数难以部署于实际系统中。为解决该问题，人们提出了教师-学生架构，其中参数较少的简单学生网络可达到与参数众多的深度教师网络相媲美的性能。近来，教师-学生架构已有效且广泛地应用于各种知识蒸馏（KD）目标，包括知识压缩、知识扩展、知识适配与知识增强。借助教师-学生架构，当前研究能够通过轻量且通用的学生网络实现多种蒸馏目标。与主要关注知识压缩的现有 KD 综述不同，本综述首次探讨了跨多种蒸馏目标的教师-学生架构。本综述介绍了各种知识表示及其对应优化目标。此外，我们提供了带有代表性学习算法和有效蒸馏方案的教师-学生架构系统性概览。本综述还总结了教师-学生架构在分类、识别、生成、排序与回归等多种用途下的最新应用。最后，分别围绕架构设计、知识质量以及基于回归学习的理论研究，探讨了 KD 中潜在的研究方向。通过本综合性综述，工业界从业者与学术界可获得关于在各种蒸馏目标上有效设计、学习与应用教师-学生架构的宝贵见解与指导。