超越自注意力的序列推荐归纳偏置

基于 Transformer 的序列推荐 (SR) 模型已取得显著成功。Transformer 在计算机视觉和自然语言处理中的自注意力机制存在过平滑问题，即隐藏表示变得与 token 相似。在 SR 领域，我们首次证明了同样问题的存在。我们进行了开创性研究，揭示了 SR 中自注意力的低通滤波特性，该特性导致了过平滑。为此，我们提出了一种名为$\textbf{B}$eyond $\textbf{S}$elf-$\textbf{A}$ttention for Sequential $\textbf{Rec}$ommendation (BSARec) 的新方法，该方法利用傅里叶变换来：i) 通过考虑细粒度序列模式注入归纳偏置；ii) 整合低频和高频信息以缓解过平滑。我们的发现展示了 SR 领域的重大进步，有望弥合现有基于 Transformer 的 SR 模型之间的差距。我们在 6 个基准数据集上通过大量实验测试了所提出的方法。实验结果表明，我们的模型在推荐性能方面优于 7 种基线方法。我们的代码可在 https://github.com/yehjin-shin/BSARec 获取。