面向推荐系统的偏好一致知识蒸馏

基于特征的知识蒸馏已被用于压缩现代推荐模型，通常借助投影器将学生（小）推荐模型的维度与教师维度对齐。然而，现有研究仅关注使投影后特征（即经投影器后的学生特征）与教师特征相似，忽视了以这种方式能否将用户偏好迁移至学生特征（即投影器前的学生特征）。本文中，我们发现由于缺乏对投影器的约束，用户偏好的迁移过程很可能受到干扰。我们将此现象称为偏好不一致。它极大浪费了基于特征的知识蒸馏的能力。为缓解偏好不一致，我们提出PCKD，其由面向投影器的两项正则化项组成。我们还提出一种结合两项正则化项的混合方法。我们聚焦于具有高偏好分数的物品，显著缓解偏好不一致，提升了基于特征的知识蒸馏的性能。在三个公开数据集和三种骨干网络上的大量实验证明了PCKD的有效性。我们的方法代码见https://github.com/woriazzc/KDs。