GOVERN：用于多教师强化蒸馏的梯度方向投票集合
计算与语言
2024-10-16 v2 信息检索
摘要
预训练语言模型已成为问答系统的重要组成部分，取得了显著的性能。然而，在计算资源受限的实际部署场景中，必须进行知识蒸馏以维持高性能。本文提出了一个关键问题：在没有标签指导的情况下，如何有效地对多个教师模型的知识进行集合化，以提升无监督蒸馏阶段的学生模型性能？我们提出了一种新型算法GOVERN来解决此问题。GOVERN在离线和在线实验中均显示出显著的性能提升，使学生模型能够达到与教师集合相当的性能。我们的实验表明，GOVERN仅需占用集合方法推理预算的1%，即可达到99.5%的性能。该算法已成功部署在实际商业化问答系统中，证明了其实际的应用价值。
引用
@article{arxiv.2405.03764,
title = {GOVERN: Gradient Orientation Vote Ensemble for Multi-Teacher Reinforced Distillation},
author = {Wenjie Zhou and Zhenxin Ding and Xiaodong Zhang and Haibo Shi and Junfeng Wang and Dawei Yin},
journal= {arXiv preprint arXiv:2405.03764},
year = {2024}
}
备注
Accepted by EMNLP 2024 Industry Track