用于推荐的大语言模型协同跨模态融合

尽管传统的协同过滤（CF）方法在推荐系统中取得了成功，但它们在利用用户和物品文本属性中的语义知识方面存在局限性。近期对大语言模型用于推荐（LLM4Rec）的应用研究强调了其在有效语义知识捕捉方面的能力。然而，这些方法往往忽视了用户行为中的协同信号。一些方法仅对语言模型进行指令微调，而另一些方法直接注入基于CF模型的嵌入，缺乏不同模态的协同融合。为了解决这些问题，我们提出了一种名为CCF-LLM的协同跨模态融合大语言模型框架，用于推荐。在该框架中，我们将用户-物品交互转化为混合提示，以同时编码语义知识和协同信号，然后采用注意力跨模态融合策略有效地融合两种模态的潜在嵌入。大量实验证明，CCF-LLM通过有效利用LLM4Rec语境中的语义和协同信号，优于现有方法。