用于推荐的大语言模型终身个性化低秩自适应
信息检索
2024-08-13 v2 人工智能
摘要
我们主要关注大语言模型（LLMs）在推荐领域的应用，该领域近期被积极探索，并在有效增强推荐系统的逻辑推理能力和开放世界知识方面面临重大挑战。当前主流努力主要集中于通过定制输入模板或在预测层对齐语义空间与推荐空间之间的表示，将推荐模型中的个性化信息注入LLMs。然而，它们面临三个显著限制：（1）LoRA在现有工作中大多作为核心组件使用，但个性化在LoRA参数中尚未很好建立，因为每个用户共享的LoRA矩阵可能无法适应不同用户的特征，导致次优性能。（2）尽管终身个性化行为序列对个性化而言是理想的，但它们的使用会引发有效性和效率问题，因为LLM需要不断增长的训练和推理时间来扩展文本长度。（3）现有方法由于训练效率限制而无法扩展至大规模数据集。因此，LLMs仅看到数据集的一小部分（例如不到10%），而非整个数据集，从而限制了其对完整训练空间的暴露。为了解决这些问题，我们提出了RecLoRA。该模型包含一个个性化LoRA模块，为不同用户维护独立的LoRA，以及一个长短模态检索器，为不同模态检索不同历史长度，在增加极少时间开销的同时显著提升性能。此外，我们设计了一种Few2Many学习策略，利用传统推荐模型作为透镜将小训练空间放大至完整空间。在公开数据集上的大量实验证明了RecLoRA相较于现有基线模型的有效性。
引用
@article{arxiv.2408.03533,
title = {Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation},
author = {Jiachen Zhu and Jianghao Lin and Xinyi Dai and Bo Chen and Rong Shan and Jieming Zhu and Ruiming Tang and Yong Yu and Weinan Zhang},
journal= {arXiv preprint arXiv:2408.03533},
year = {2024}
}