关注注意力权重以提升序列推荐

基于 Transformer 的方法已在各种基于序列的任务中取得了显著成功。然而，传统的自注意力模型可能无法充分捕捉序列推荐场景中物品之间复杂的依赖关系。这是因为缺乏对注意力权重的显式强调，而注意力权重在分配注意力和理解物品间相关性方面起着关键作用。为了更好地挖掘注意力权重的潜力并提高序列推荐学习高阶依赖关系的能力，我们提出了一种新颖的序列推荐方法，称为注意力权重精炼。注意力权重精炼通过额外关注注意力权重来增强自注意力的有效性，从而允许对物品间相关性的注意力分布进行更精细的调整。我们在多个真实世界数据集上进行了全面的实验，证明我们的方法始终优于最先进的序列推荐模型。此外，我们深入分析了注意力权重精炼在捕捉更高层次依赖关系方面的有效性。这些发现表明，注意力权重精炼为增强序列推荐任务中自注意力架构的性能提供了一个有前景的新方向，并且可能也适用于其他基于序列的问题。