小语言模型能否担当推荐系统?面向以数据为中心冷启动推荐的研究
信息检索
2024-03-06 v5 人工智能
计算与语言
社会与信息网络
摘要
推荐系统基于用户的历史行为帮助其找到匹配的物品。在缺乏历史用户-物品交互的情况下,个性化推荐变得困难,这是初创企业面临的一个实际问题,称为系统冷启动推荐。尽管现有研究针对用户或物品的冷启动问题提出了解决方案,我们仍缺乏面向系统冷启动场景的方案。为解决该问题,我们提出 PromptRec,一种基于语言模型上下文学习的简单而有效的方法,将推荐任务转化为包含用户与物品画像的自然语言上的情感分析任务。然而,这种朴素方法严重依赖大语言模型涌现出的强上下文学习能力,可能带来显著的在线推荐延迟。为应对该挑战,我们提出通过以数据为中心的流程来增强面向推荐系统的小语言模型,该流程包括:(1) 构建用于模型预训练的精炼语料库;(2) 通过提示预训练构建分解式提示模板。它们分别对应训练数据与推理数据的构建。该流程由一个理论框架支撑,其形式化了上下文推荐与语言建模之间的联系。为评估我们的方法,我们引入了一个冷启动推荐基准,结果表明增强后的小语言模型仅以 的推理时间即可达到与大模型相当的冷启动推荐性能。据我们所知,这是首项解决系统冷启动推荐问题的研究。我们相信我们的发现将为未来工作提供有价值的见解。基准与实现已发布于 https://github.com/JacksonWuxs/PromptRec。
引用
@article{arxiv.2306.17256,
title = {Could Small Language Models Serve as Recommenders? Towards Data-centric Cold-start Recommendations},
author = {Xuansheng Wu and Huachi Zhou and Yucheng Shi and Wenlin Yao and Xiao Huang and Ninghao Liu},
journal= {arXiv preprint arXiv:2306.17256},
year = {2024}
}
备注
8 pages, 4 figures