大语言模型是推荐系统的零样本排序器
信息检索
2024-01-25 v2 计算与语言
摘要
近来，大语言模型（LLM）（如 GPT-4）已展现出令人印象深刻的通用任务求解能力，包括处理推荐任务的潜力。沿着这一研究方向，本工作旨在探究充当推荐系统排序模型的大语言模型的能力。我们首先将推荐问题形式化为条件排序任务，将序列交互历史视为条件，将其他候选生成模型检索出的物品视为候选。为利用 LLM 解决排序任务，我们精心设计了提示模板，并在两个广泛使用的数据集上进行了大量实验。我们表明 LLM 具有前景广阔的零样本排序能力，但（1）难以感知历史交互的顺序，（2）可能受到提示中流行度或物品位置的偏置。我们证明这些问题可通过专门设计的提示和自助采样策略缓解。借助这些见解，当排序候选由多个候选生成器检索时，零样本 LLM 甚至能够挑战传统推荐模型。代码和处理后的数据集可在 https://github.com/RUCAIBox/LLMRank 获取。
引用
@article{arxiv.2305.08845,
title = {Large Language Models are Zero-Shot Rankers for Recommender Systems},
author = {Yupeng Hou and Junjie Zhang and Zihan Lin and Hongyu Lu and Ruobing Xie and Julian McAuley and Wayne Xin Zhao},
journal= {arXiv preprint arXiv:2305.08845},
year = {2024}
}
备注
Accepted by ECIR 2024