融合大语言模型的多键值策略推荐系统
信息检索
2023-10-26 v1 机器学习
摘要
推荐系统(RS)在匹配互联网用户的信息需求方面发挥着重要作用,通常利用基础神经网络作为主干来处理嵌入细节。近年来,大语言模型(LLM)展现出涌现能力,并在计算机视觉(CV)和自然语言处理(NLP)领域取得重大突破。因此,更好地将推荐系统与大语言模型相结合成为新兴研究方向。尽管已有一些工作对此作出贡献,但它们主要考虑单一键情况(如历史交互),尤其在序列推荐中;多键值数据情形被简单忽视。这一重要场景在真实应用中为主流,其中用户(如年龄、职业等)与物品(如标题、类别等)信息具有多个键。为此,我们旨在通过融合推荐系统与大语言模型,基于多键值数据实现序列推荐。具体地,我们对一个主流开源LLM(Llama 7B)进行指令微调,以将推荐系统领域知识注入预训练LLM。由于采用多键值策略,LLM难以在这些键间学好,因此设计了通用且创新的打乱与掩码策略,作为一种创新的数据增广方式。为证明方法有效性,我们在包含多键值且流行适用的数据集MovieLens上进行了充分实验。实验结果表明,我们的方法能良好且有效地完成这一挑战性问题。
引用
@article{arxiv.2310.16409,
title = {Multiple Key-value Strategy in Recommendation Systems Incorporating Large Language Model},
author = {Dui Wang and Xiangyu Hou and Xiaohui Yang and Bo Zhang and Renbing Chen and Daiyue Xue},
journal= {arXiv preprint arXiv:2310.16409},
year = {2023}
}
备注
Accepted by CIKM2023 workshop at GenRec'23