MaTrRec：将 Mamba 与 Transformer 统一用于顺序推荐
信息检索
2024-07-30 v1
摘要
顺序推荐系统旨在通过分析用户行为序列中的动态偏好和依赖关系来提供个性化推荐。最近，Transformer 模型能够有效捕获用户偏好。然而，其二次计算复杂度限制了在长交互序列数据上的推荐性能。灵感来自于代表性模型——状态空间模型（SSM）Mamba，该模型以线性复杂度高效捕获长交互序列中的用户偏好。我们发现，Mamba 在短交互序列中的推荐效果有限，无法召回用户真正感兴趣的物品，同时加剧了数据稀疏性冷启动问题。为解决此问题，我们创新性地提出了一种新模型 MaTrRec，将 Mamba 与 Transformer 的优势融合。该模型充分利用 Mamba 在处理长期依赖方面的优势，以及 Transformer 在短期依赖方面的全局注意力优势，从而在长短交互序列数据集上提升预测能力，同时平衡模型效率。值得注意的是，我们的模型显著改善了数据稀疏性冷启动问题，在高度稀疏的 Amazon 乐器数据集上提升幅度可达 33%。我们在五个广泛使用的公开数据集上进行了大量实验评估。实验结果表明，我们的模型在所有五个数据集上均超越了当前最先进的顺序推荐模型。代码已公开于 https://github.com/Unintelligentmumu/MaTrRec。
关键词
引用
@article{arxiv.2407.19239,
title = {MaTrRec: Uniting Mamba and Transformer for Sequential Recommendation},
author = {Shun Zhang and Runsen Zhang and Zhirong Yang},
journal= {arXiv preprint arXiv:2407.19239},
year = {2024}
}