大型语言模型作为叙事驱动的推荐系统
信息检索
2024-10-18 v1 人工智能
计算与语言
摘要
叙事驱动的推荐系统旨在为用户以自由形式表达的请求提供个性化建议，例如：“我想看一部讲述心智扭曲故事的惊悚片，像《谋杀场》一样”。尽管大型语言模型 (LLM) 在处理一般自然语言查询方面表现出色，但其在处理此类推荐请求方面的效果仍相对未被充分探索。为填补这一差距，我们比较了 38 个开源和闭源 LLM 的性能，这些模型大小各异，例如 LLaMA 3.2 和 GPT-4o，在电影推荐场景中进行测试。为此，我们利用来自 reddit 电影建议社区的 gold-standard、由众包标注者注释的数据集，并采用各种提示策略，包括 zero-shot、identity 和 few-shot 提示。我们的发现表明，LLM 能够生成与上下文相关的电影推荐，显著优于 doc2vec 等其他最新方法。尽管我们发现闭源模型和大参数化模型通常表现最佳，但中等规模的开源模型仍具竞争力，仅略逊于其计算更昂贵的对手。此外，我们观察到大多数模型之间没有显著差异，表明诸如 zero-shot 提示等简单方法在叙事驱动推荐方面具有有效性。总体而言，本工作为希望将 LLM 集成到实际推荐工具中的推荐系统研究人员和实践者提供了宝贵的见解。
关键词
引用
@article{arxiv.2410.13604,
title = {Large Language Models as Narrative-Driven Recommenders},
author = {Lukas Eberhard and Thorsten Ruprechter and Denis Helic},
journal= {arXiv preprint arXiv:2410.13604},
year = {2024}
}
备注
Under review; 19 pages