自注意力序列推荐

序列动态是许多现代推荐系统的关键特征，其试图基于用户近期执行的操作来捕捉用户活动的“上下文”。为捕捉此类模式，两类方法已广泛流行：马尔可夫链（MCs）和循环神经网络（RNNs）。马尔可夫链假设用户下一步动作仅可依据其最近（或最近几次）动作预测，而RNN原则上可揭示更长期的语义。一般而言，基于MC的方法在极度稀疏数据集中表现最佳，此时模型简洁性至关重要；而RNN在较密集数据集中表现更好，此时可承受更高模型复杂度。我们工作的目标是平衡这两个目标，提出一种基于自注意力（self-attention）的序列模型（SASRec），其可捕捉长期语义（如RNN），但借助注意力机制使其基于相对较少的动作（如MC）做出预测。在每个时间步，SASRec试图从用户行为历史中识别哪些物品“相关”，并用它们预测下一物品。大量实证研究表明，我们的方法在稀疏与密集数据集上均优于多种最先进（state-of-the-art）序列模型（包括基于MC/CNN/RNN的方法）。此外，该模型比可比的基于CNN/RNN的模型高效一个数量级。对注意力权重的可视化也展示了我们的模型如何自适应处理不同密度的数据集，并揭示活动序列中有意义的模式。