面向推荐系统的协作式大语言模型
信息检索
2024-02-23 v4
摘要
近来，基于预训练大语言模型（LLM）开发下一代推荐系统（RS）的兴趣日益增长。然而，自然语言与推荐任务之间的语义鸿沟仍未得到很好解决，导致诸多问题，如用户/物品描述符的伪相关、在用户/物品数据上低效的语言建模、通过自回归进行低效推荐等。本文提出CLLM4Rec，首个紧密融合RS的LLM范式与ID范式的生成式推荐系统，旨在同时应对上述挑战。我们首先用用户/物品ID词元扩展预训练LLM的词表，以忠实建模用户/物品的协同与内容语义。相应地，提出一种新颖的软+硬提示策略，通过在RS专用语料上进行语言建模来有效学习用户/物品协同/内容词元嵌入，其中每篇文档被拆分为由异构软（用户/物品）词元与硬（词表）词元组成的提示，以及由同质物品词元或词表词元组成的正文，以促进稳定有效的语言建模。此外，引入一种新颖的互正则化策略，鼓励CLLM4Rec从含噪的用户/物品内容中捕获与推荐相关的信息。最后，我们提出一种面向推荐的CLLM4Rec微调策略，在预训练CLLM4Rec骨干上添加具有多项似然的物品预测头，基于从掩码用户-物品交互历史建立的软+硬提示来预测留出物品，从而无需幻觉即可高效生成多个物品的推荐。代码发布于 https://github.com/yaochenzhu/llm4rec。
引用
@article{arxiv.2311.01343,
title = {Collaborative Large Language Model for Recommender Systems},
author = {Yaochen Zhu and Liang Wu and Qi Guo and Liangjie Hong and Jundong Li},
journal= {arXiv preprint arXiv:2311.01343},
year = {2024}
}
备注
Accepted by WWW2024