EchoMamba4Rec：融合双向状态空间模型与谱滤波的高级序列推荐
机器学习
2024-06-11 v2 人工智能
摘要
预测基于历史行为的用户偏好和序列依赖关系是序列推荐的核心目标。虽然注意力机制模型在该领域显示出有效性，但由于注意力机制固有的二次计算复杂度，尤其在长序列行为上，往往在推理效率方面存在挑战。drawing inspiration from 最近在控制论中取得的进展状态空间模型 (SSM)，该模型为建模和控制动态系统提供了稳健框架，我们引入 EchoMamba4Rec。控制论强调使用 SSM 处理长程依赖关系，通过结构化状态矩阵保持推理效率。EchoMamba4Rec 利用控制关系于序列推荐，并整合双向处理与频率域滤波，以更有效地捕获用户交互数据中的复杂模式和依赖关系。我们的模型受益于状态空间模型 (SSM) 能够学习和执行并行计算的能力，显著提升了计算效率和可扩展性。它包含一个双向 Mamba 模块，集成前向和逆向 Mamba 组件，利用过去和未来交互信息。此外，一个滤波层使用可学习的快速傅里叶变换 (FFT) 和可学习滤波器在频率域中运行，随后进行逆 FFT 以细化物品嵌入并减少噪声。我们还集成了门控线性单元 (GLU)，动态控制信息流，增强模型的表达性和训练稳定性。实验结果表明，EchoMamba显著优于现有模型，提供更准确和更个性化的推荐。
引用
@article{arxiv.2406.02638,
title = {EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation},
author = {Yuda Wang and Xuxin He and Shengxin Zhu},
journal= {arXiv preprint arXiv:2406.02638},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2403.03900 by other authors