LinRec：面向长序列推荐系统的线性注意力机制
信息检索
2024-11-05 v1
摘要
Transformer 模型在序列推荐系统 (SRS) 中取得了显著的成功。然而，传统点积注意力机制中注意力矩阵的计算导致随序列长度呈二次复杂度，使得长序列推荐计算成本高昂。针对上述现象，本文提出一种新的 L2 归一化线性注意力用于基于 Transformer 的序列推荐系统 (LinRec)，理论上在保持传统点积注意力学习能力的前提下提升效率。具体而言，通过彻底检视高效注意力机制的等价条件，我们展示 LinRec 在保持注意力机制特性的同时具备线性复杂度。此外，我们通过统计视角阐释所提 LinRec 机制的潜在效率特性。基于两个公开基准数据集进行大量实验，结果表明 LinRec 与 Transformer 模型的组合在性能上与最先进的基于 Transformer 的 SRS 模型相当甚至更优，同时显著提升时间和内存效率。
关键词
引用
@article{arxiv.2411.01537,
title = {LinRec: Linear Attention Mechanism for Long-term Sequential Recommender Systems},
author = {Langming Liu and Xiangyu Zhao and Chi Zhang and Jingtong Gao and Wanyu Wang and Wenqi Fan and Yiqi Wang and Ming He and Zitao Liu and Qing Li},
journal= {arXiv preprint arXiv:2411.01537},
year = {2024}
}
备注
SIGIR 2023