面向终身序列行为理解的全栈优化大语言模型
信息检索
2025-01-24 v1 人工智能
摘要
本文针对大语言模型（LLM）在推荐系统中面对的终身序列行为理解问题进行了解决，即使在其上下文限制范围内，LLM 也难以从长用户行为序列中提取有用信息。为此，我们提出了 ReLLaX（Retrieval-enhanced Large Language models Plus），一个在数据、提示和参数三个层面进行优化的框架。在数据层面，我们引入语义用户行为检索（SUBR）以减少序列的异质性，使 LLM 更容易提取关键信息。在提示层面的优化中，我们采用软提示增强（SPA）来注入协作知识，将物品表示与推荐任务对齐，从而提高 LLM 对物品关系的探索能力。在参数层面，我们提出了组件全互动 LoRA（CFLoRA），通过使其组件之间发生互动来增强 LoRA 的表达能力，从而更好地捕捉序列信息。此外，我们提出了新的视角来比较当前基于 LoRA 的 LLM4Rec 方法，即从组合视角和分解视角进行比较。我们理论上证明，现有方法在 LoRA 的应用方式是我们 CFLoRA 方法的退化版本，具体体现在对原子组件互动施加不同的约束。 在三个公开数据集上的大量实验表明，ReLLaX 在现有基线之上具有优势，并且能够有效缓解终身序列行为理解的困境。
引用
@article{arxiv.2501.13344,
title = {Full-Stack Optimized Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation},
author = {Rong Shan and Jiachen Zhu and Jianghao Lin and Chenxu Zhu and Bo Chen and Ruiming Tang and Yong Yu and Weinan Zhang},
journal= {arXiv preprint arXiv:2501.13344},
year = {2025}
}
备注
Under Review