协作与转移：将物品转移模式蒸馏至多查询自注意力以用于序列推荐
信息检索
2023-12-27 v2
摘要
现代推荐系统采用各种序列模块（如自注意力）来学习动态用户兴趣。然而，这些方法在捕获用户交互序列中的协作信号与转移信号方面效果较弱。首先，自注意力架构使用单个物品的嵌入作为注意力查询，难以捕获协作信号。其次，这些方法通常遵循自回归框架，无法学习全局物品到物品的转移模式。为克服这些局限，我们提出了一种称为具有转移感知嵌入蒸馏的多查询自注意力（MQSA-TED）的新方法。首先，我们提出了一种 查询自注意力模块，其采用灵活的窗口大小作为注意力查询以捕获协作信号。此外，我们引入了一种多查询自注意力方法，通过结合长查询与短查询自注意力来平衡建模用户偏好时的偏差-方差权衡。其次，我们开发了转移感知嵌入蒸馏模块，将全局物品到物品转移模式蒸馏至物品嵌入中，使模型能够记忆并利用转移信号，并作为协作信号的校准器。在四个真实世界数据集上的实验结果证明了所提模块的有效性。
引用
@article{arxiv.2311.01056,
title = {Collaboration and Transition: Distilling Item Transitions into Multi-Query Self-Attention for Sequential Recommendation},
author = {Tianyu Zhu and Yansong Shi and Yuan Zhang and Yihong Wu and Fengran Mo and Jian-Yun Nie},
journal= {arXiv preprint arXiv:2311.01056},
year = {2023}
}
备注
WSDM 2024 Oral Presentation