基于面向 facet 的多头混合专家模型用于顺序推荐

顺序推荐系统通过利用用户的交互历史捕捉用户动态偏好。目前大多数现有系统为每个物品分配一个单一嵌入向量来表示其特征，并采用 various 类型模型将这些物品嵌入组合成序列表示向量以捕捉用户意图。然而，我们认为这种表示方式不足以捕捉物品的多面性特征（例如电影类型、主演）。此外，用户往往在这些特征中展现出复杂多样的偏好（例如在类型这一特征中同时喜欢动作和音乐剧），这在完全表示方面具有挑战性。为解决上述问题，我们提出一种新结构：Facet-Aware Multi-Head Mixture-of-Experts Model for Sequential Recommendation（FAME）。我们利用最后一层多头注意力机制中每个头的子嵌入，分别预测下一个物品。该方法在不增加模型复杂度的前提下捕捉物品多面性特征的潜在能力。一个门控机制整合来自每个头的推荐，并动态确定它们的重要性。此外，我们在每个注意力头中引入混合专家（MoE）网络，以解耦每个特征中各种用户偏好。每个专家聚焦于特定偏好。我们采用可学习的路由网络计算每个专家的重要性权重并对其进行聚合。我们在四个公开的顺序推荐数据集上进行大量实验，结果表明该方法在现有基线模型之上具有有效性。