弥合差距：揭示在线排序系统中知识蒸馏的隐藏挑战
信息检索
2024-08-28 v1 人工智能
机器学习
摘要
知识蒸馏（KD）是一种将大模型压缩为更小、更高效模型的强大方法，特别适用于推荐系统等对延迟敏感的应用。然而，当前的 KD 研究主要集中在计算机视觉（CV）和自然语言处理（NLP）任务上，忽视了推荐系统固有的独特数据特征和挑战。本文解决了这些被忽视的挑战，具体包括：(1) 缓解教师模型和学生模型之间的数据分布偏移，(2) 在时间和预算限制内高效识别最优教师配置，以及 (3) 实现计算高效且快速的教师标签共享以支持多个学生模型。我们提出了一个稳健的 KD 系统，并在 Google 内部的多个大规模个性化视频推荐系统上进行了开发和严格评估。我们的在线实验结果证明了学生模型性能的显著提升，同时确保了从连续数据流中一致且可靠地生成高质量的教师标签。
引用
@article{arxiv.2408.14678,
title = {Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems},
author = {Nikhil Khani and Shuo Yang and Aniruddh Nath and Yang Liu and Pendo Abbo and Li Wei and Shawn Andrews and Maciej Kula and Jarrod Kahn and Zhe Zhao and Lichan Hong and Ed Chi},
journal= {arXiv preprint arXiv:2408.14678},
year = {2024}
}