当 Transformer 遇限推荐器：将自注意力序列推荐集成到微调 LLM 中

Kechen Liu

当 Transformer 遇限推荐器：将自注意力序列推荐集成到微调 LLM 中

信息检索 2025-07-09 v1 人工智能

作者: Kechen Liu

摘要

自注意力序列推荐（SASRec）通过对历史交互应用注意力机制，有效捕获长期用户偏好。同时，大语言模型（LLM）的兴起促使了基于 LLM 的推荐研究，这类研究利用其强大的泛化能力和语言理解能力。然而，仅依赖文本提示的 LLM 往往缺乏针对高质量推荐所必需的领域特定知识和协同信号。为此，本研究提出 SASRecLLM，一种新型框架，将 SASRec 作为协同编码器与使用低秩适应（LoRA）微调的 LLM 集成。各组件通过映射层连接以对齐其维度空间，并设计了三种针对性训练策略以优化混合架构。大量实验表明，在冷启动和温启动场景中，SASRecLLM 相较于强基准线实现了稳健且持续的改进。本工作通过呈现一种模块化且有效的范式，推动了基于 LLM 的推荐领域，将结构化协同过滤与微调 LLM 的语义能力相结合。实现代码已于 GitHub 提供：https://github.com/kechenkristin/RecLLM

关键词

自注意力序列推荐大语言模型低秩适应协同过滤 SASRecLLM

引用

@article{arxiv.2507.05733,
  title  = {When Transformers Meet Recommenders: Integrating Self-Attentive Sequential Recommendation with Fine-Tuned LLMs},
  author = {Kechen Liu},
  journal= {arXiv preprint arXiv:2507.05733},
  year   = {2025}
}

当 Transformer 遇限推荐器：将自注意力序列推荐集成到微调 LLM 中

摘要

关键词

引用

相关论文