中文

向统一范式迈进:将推荐系统作为大模型中的新语言进行集成

信息检索 2024-12-24 v1 人工智能 计算与语言

摘要

本文探讨了如何在大型语言模型(LLM)中用于顺序推荐,这类模型根据用户的过去行为预测用户的未来交互。我们提出了一种新概念,即“将推荐系统作为大模型中的新语言进行集成”(RSLLM),该概念结合了传统推荐系统和LLM的优势。RSLLM采用独特的提示方法,将来自常规推荐模型的基于ID的项目嵌入与项目的文本特征相结合。它将用户的顺序行为视为一种独立的语言,并通过投影器将ID嵌入与LLM的输入空间对齐。我们还提出了两阶段LLM微调框架,该框架结合两种对比损失和语言模型损失来细化预训练的LLM。首先使用仅文本提示对LLM进行微调,然后使用统一提示进行目标域微调。这训练模型将来自传统顺序推荐器中获得的行为知识纳入LLM。我们的实证结果验证了所提出框架的有效性。

关键词

引用

@article{arxiv.2412.16933,
  title  = {Towards a Unified Paradigm: Integrating Recommendation Systems as a New Language in Large Models},
  author = {Kai Zheng and Qingfeng Sun and Can Xu and Peng Yu and Qingwei Guo},
  journal= {arXiv preprint arXiv:2412.16933},
  year   = {2024}
}

备注

13 pages, 5 figures