FuXi-Linear：解放长序列时序推荐中的线性注意力力量
信息检索
2026-03-02 v1
摘要
现代推荐系统主要依赖注意力机制，计算复杂度为二次方，限制了其处理长用户序列和加速推理的能力。虽然线性注意力是具有潜力的替代方案，但现有研究面临三个关键挑战：（1）时序信号常被忽略或通过低效的耦合方式集成，导致时序与语义信号之间产生相互干扰，同时忽略行为周期性；（2）现有线性框架提供的positional信息不足；（3）主要关注短序列和浅层架构。为此，我们提出FuXi-Linear，一个为高效长序列推荐设计的线性复杂度模型。我们的ethods引入两个关键组件：（1）时序保留通道（Temporal Retention Channel），独立计算使用时序数据生成的周期性注意力权重，防止时序与语义信号之间的交叉干扰；（2）线性位置通道（Linear Positional Channel），通过可学习的内核在线性复杂度内整合位置信息。此外，我们展示FuXi-Linear在千长度尺度上表现出稳健的幂律扩展特性，这一特征在先前的线性推荐研究中鲜有探索。广泛的实验在数千token的序列上表明，FuXi-Linear在推荐质量方面优于最先进的模型，同时在预填阶段实现最高10倍的加速，在解码阶段实现最高21倍的加速。我们的代码已发布于公开仓库 https://github.com/USTC-StarTeam/fuxi-linear。
引用
@article{arxiv.2602.23671,
title = {FuXi-Linear: Unleashing the Power of Linear Attention in Long-term Time-aware Sequential Recommendation},
author = {Yufei Ye and Wei Guo and Hao Wang and Luankang Zhang and Heng Chang and Hong Zhu and Yuyang Ye and Yong Liu and Defu Lian and Enhong Chen},
journal= {arXiv preprint arXiv:2602.23671},
year = {2026}
}