利用学生反馈学习教学
机器学习
2021-09-13 v1
摘要
知识蒸馏 (KD) 因其在压缩大规模预训练模型方面的有效性而备受关注。在典型的 KD 方法中，小型学生模型被训练以匹配大型教师模型生成的软目标。然而，学生与教师之间的交互是单向的。教师一旦训练完成通常是固定的，导致待蒸馏的软目标是静态的。这种单向交互导致教师无法感知学生的特征及其训练进度。为了解决这个问题，我们提出了交互式知识蒸馏 (IKD)，它也允许教师从学生的反馈中学习教学。具体而言，IKD 训练教师模型在每一步训练中为特定学生生成特定的软目标。教师和学生的联合优化通过两个迭代步骤实现：课程步骤利用教师的软目标优化学生，考试步骤利用学生的反馈优化教师。IKD 是一个通用框架，与大多数现有的知识蒸馏方法正交。实验结果表明，IKD 在各种 NLP 任务上优于传统的 KD 方法。
引用
@article{arxiv.2109.04641,
title = {Learning to Teach with Student Feedback},
author = {Yitao Liu and Tianxiang Sun and Xipeng Qiu and Xuanjing Huang},
journal= {arXiv preprint arXiv:2109.04641},
year = {2021}
}