更长的提示总是更好吗?大语言模型推荐系统中的提示选择
信息检索
2024-12-20 v1 计算与语言
摘要
在基于大语言模型(LLM)的推荐系统(LLM-RS)中,能够通过利用LLM的通用知识来准确预测用户偏好,而无需大量训练数据。通过将推荐任务转换为称为提示的自然语言输入,LLM-RS可以高效地解决由于数据稀缺而在冷启动问题和跨域问题中至关重要的难题。然而,在实际应用中,选择与任务和数据匹配的提示至关重要。尽管已提出了大量针对LLM-RS的提示,而且在提示中代表目标用户的提示对推荐准确性具有显著影响,但仍不存在针对特定提示选择的明确指导方针。本文对此前研究中的提示进行分类和分析,以建立实用的提示选择指南。通过450次实验(90个提示和五个真实数据集),我们检查了提示与数据集特征之间的关系对推荐准确性的影响。我们发现没有单个提示始终优于其他提示;因此,基于数据集特征选择提示至关重要。本文提出一种可实现更高准确率的提示选择方法,所需验证数据最少。由于增加提示的数量以进行探索会增加成本,我们还引入了一种基于高性能和高性价比LLM的成本效益策略,显著降低了探索成本 while maintaining high prediction accuracy。我们的工作为提示选择提供了有价值的见解,推动了准确且高效的LLM-RS。
引用
@article{arxiv.2412.14454,
title = {Are Longer Prompts Always Better? Prompt Selection in Large Language Models for Recommendation Systems},
author = {Genki Kusano and Kosuke Akimoto and Kunihiro Takeoka},
journal= {arXiv preprint arXiv:2412.14454},
year = {2024}
}
备注
15 pages