Mamba4Rec：迈向基于选择性状态空间模型的高效序列推荐
信息检索
2024-07-02 v2
摘要
序列推荐旨在估计动态用户偏好及历史用户行为间的序列依赖关系。尽管基于 Transformer 的模型已被证明对序列推荐有效，但它们受限于注意力算子的二次计算复杂度导致的推理效率低下问题，尤其是对于长行为序列。受状态空间模型 (SSM) 近期成功的启发，我们提出了 Mamba4Rec，这是首个探索选择性 SSM 在高效序列推荐中潜力的工作。基于基本的 Mamba 块（一种具有高效硬件感知并行算法的选择性 SSM），我们设计了一系列序列建模技术，在保持推理效率的同时进一步提升模型性能。通过在公共数据集上的实验，我们展示了 Mamba4Rec 如何有效解决效果与效率的困境，在效果和效率方面均优于基于 RNN 和注意力的基线。代码可在 https://github.com/chengkai-liu/Mamba4Rec 获取。
引用
@article{arxiv.2403.03900,
title = {Mamba4Rec: Towards Efficient Sequential Recommendation with Selective State Space Models},
author = {Chengkai Liu and Jianghao Lin and Jianling Wang and Hanzhou Liu and James Caverlee},
journal= {arXiv preprint arXiv:2403.03900},
year = {2024}
}