Follow Your Path：一种渐进式知识蒸馏方法

深度神经网络通常具有海量参数，这在内存与计算能力受限的应用场景部署中带来挑战。知识蒸馏是从更大型模型导出紧凑模型的一种方法。然而，已有观察表明，收敛的重型教师模型对学习紧凑学生网络存在强约束，并可能使优化陷入不良的局部最优。本文提出 ProKT，一种通过将教师模型监督信号投影至学生参数空间实现的模型无关新方法。该投影通过将训练目标分解为局部中间目标，并采用近似镜像下降技术实现。所提方法对优化过程中的奇异性较不敏感，从而可得更优局部最优。在图像与文本数据集上的实验表明，相较于其他现有知识蒸馏方法，所提 ProKT 一致取得更优性能。