PILE：用于多教师标注蒸馏的成对迭代 Logits 集成
信息检索
2022-11-14 v1
摘要
预训练语言模型已成为排序系统的关键组成部分，并在近期取得了非常令人印象深刻的成效。为在保持高性能的同时维持高效计算，知识蒸馏被广泛使用。本文关注排序模型知识蒸馏中的两个关键问题：1）如何集成来自多教师的知识；2）如何在蒸馏过程中利用数据的标注信息。我们提出一种称为成对迭代 Logits 集成（PILE）的统一算法，同时解决这两个问题。PILE 以迭代方式在标注信息监督下集成多教师 logits，并在离线与在线实验中均取得具有竞争力的性能。所提方法已部署于真实商业搜索系统中。
引用
@article{arxiv.2211.06059,
title = {PILE: Pairwise Iterative Logits Ensemble for Multi-Teacher Labeled Distillation},
author = {Lianshang Cai and Linhao Zhang and Dehong Ma and Jun Fan and Daiting Shi and Yi Wu and Zhicong Cheng and Simiu Gu and Dawei Yin},
journal= {arXiv preprint arXiv:2211.06059},
year = {2022}
}