基于对比知识蒸馏的集成建模用于序列推荐
信息检索
2023-05-17 v3
摘要
序列推荐旨在捕捉用户的动态兴趣并预测用户偏好的下一个物品。大多数序列推荐方法使用深度神经网络作为序列编码器来生成用户和物品表示。现有工作主要集中于设计更强的序列编码器。然而,将多个网络集成为序列编码器的训练尝试甚少,而这种方式比单一网络更强大,因为并行网络集合能产生多样的预测结果从而取得更好的精度。本文提出用于序列推荐的基于对比知识蒸馏的集成建模(EMKD)。我们的框架采用多个并行网络作为序列编码器集合,并基于所有这些网络的输出分布推荐物品。为促进并行网络间的知识迁移,我们提出一种新颖的对比知识蒸馏方法,其通过网络内对比学习(ICL)和网络间对比学习(CCL)在表示层进行知识迁移,并通过最小化教师网络与学生网络输出分布间的 Kullback-Leibler 散度在 logits 层进行知识蒸馏(KD)。为利用上下文信息,我们将主掩码物品预测任务与辅助属性预测任务作为多任务学习方案一同训练。在公开基准数据集上的大量实验表明,EMKD 相比最先进的方法取得了显著改进。此外,我们证明了我们的集成方法是一种通用方法,也可提升其他序列推荐器的性能。我们的代码见此链接:https://github.com/hw-du/EMKD。
引用
@article{arxiv.2304.14668,
title = {Ensemble Modeling with Contrastive Knowledge Distillation for Sequential Recommendation},
author = {Hanwen Du and Huanhuan Yuan and Pengpeng Zhao and Fuzhen Zhuang and Guanfeng Liu and Lei Zhao and Victor S. Sheng},
journal= {arXiv preprint arXiv:2304.14668},
year = {2023}
}
备注
Accepted by SIGIR 2023