MLSA4Rec：基于低秩分解自注意力与 Mamba 混合的序列推荐方法
信息检索
2026-02-06 v1
摘要
在电商、在线教育和流媒体服务等场景中，序列推荐系统发挥着关键作用。尽管自注意力机制在捕捉用户交互历史中项目间依赖关系方面表现优异，但其二次时间复杂度及缺乏结构性偏置限制了其适用性。近期一些研究将序列推荐器中的自注意力模块替换为 Mamba，由于其线性时间复杂度和结构性偏置而受到关注。然而，这些研究未注意到两种方法之间的互补性。为此本文提出一种新的混合推荐框架，即 Mamba 结合低秩分解自注意力用于序列推荐（MLSA4Rec），其时间复杂度随用户历史交互序列长度呈线性增长。具体而言，MLSA4Rec 设计了高效的 Mamba-LSA 交互模块。该模块引入具有线性时间复杂度的低秩分解自注意力（LSA）模块，并通过 Mamba 注入结构性偏置。LSA 模块从不同角度分析用户偏好，通过门控信息传输机制动态引导 Mamba 聚焦于用户历史交互中重要信息。最终，MLSA4Rec 将由 Mamba 与 LSA 模块共同优化的用户偏好信息，用于准确预测用户下一可能的交互。迄今为止，本文是首次将 Mamba 与自注意力结合于序列推荐系统中。实验结果表明，MLSA4Rec 在三个真实数据集上优于现有的自注意力和 Mamba 序列推荐模型，在推荐准确性方面表现突出，展示了 Mamba 与自注意力协同工作的巨大潜力。
引用
@article{arxiv.2407.13135,
title = {MLSA4Rec: Mamba Combined with Low-Rank Decomposed Self-Attention for Sequential Recommendation},
author = {Jinzhao Su and Zhenhua Huang},
journal= {arXiv preprint arXiv:2407.13135},
year = {2026}
}