一种基于Mamba的新型顺序推荐方法

顺序推荐（SR）通过编码用户活动来预测下一动作，已成为开发商业化个性化推荐系统的广泛采用的策略。尽管基于Transformer的模型在顺序推荐方面表现良好，但Transformer中自注意力模块的复杂度随序列长度呈二次增长。对于大型推荐系统而言，控制模型复杂度至关重要，因为这些系统可能需要处理规模为数十亿的词汇表，这些词汇表会持续演化，用户行为序列长度可能超过数万。本文提出一种新型多头潜在Mamba架构，采用多个低维Mamba层和全连接层，结合位置编码，同时捕获每个潜在子空间中的历史信息和物品信息。我们提出的方法不仅使规模参数化扩展，而且通过整合和微调LLM，扩展到多域推荐。通过在公共数据集上的大量实验，我们展示了Hydra如何有效解决有效性与效率之间的困境，同时以显著更少的参数和减少的训练时间超越了最先进的顺序推荐基线。