面向多领域序列推荐的来自多个预训练教师的课程调度知识蒸馏
信息检索
2024-10-16 v2
摘要
预训练推荐模型（PRMs）近期受到了越来越多的关注。然而，其本质上异构的模型结构、庞大的模型尺寸和计算成本阻碍了它们在实际推荐系统中的应用。因此，探索如何在现实系统中高效地使用不同的预训练推荐模型至关重要。在本文中，我们提出了一种面向多领域序列推荐的来自多个预训练教师的新颖课程调度知识蒸馏方法，称为 CKD-MDSR。该方法充分利用不同的 PRMs 作为多个教师模型来提升一个小型学生推荐模型，整合了来自 PRMs 跨多个领域的知识。具体而言，CKD-MDSR 首先采用课程调度的用户行为序列采样，并从具有代表性的 PRMs（如 UniSRec 和 Recformer）中联合蒸馏出信息丰富的知识。然后，考虑到置信度和一致性，来自上述 PRMs 的知识被选择性地整合到学生模型中。最后，我们在多领域序列推荐上验证了所提出的方法，并通过多种类型的学生模型（包括特征交互和基于图的推荐模型）进一步证明了其通用性。在五个真实世界数据集上的大量实验证明了 CKD-MDSR 的有效性和高效性，它可以被视为在现实系统中使用 PRMs 的高效捷径。
引用
@article{arxiv.2401.00797,
title = {Curriculum-scheduled Knowledge Distillation from Multiple Pre-trained Teachers for Multi-domain Sequential Recommendation},
author = {Wenqi Sun and Ruobing Xie and Junjie Zhang and Wayne Xin Zhao and Leyu Lin and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2401.00797},
year = {2024}
}