ChatGPT 是一个好的推荐系统吗?一项初步研究
信息检索
2023-10-30 v3
摘要
推荐系统在过去几十年中取得了显著进展并得到了广泛应用。然而,大多数传统推荐方法是任务特定的,因此缺乏高效的泛化能力。近来,ChatGPT 的出现通过增强对话模型的能力显著推进了 NLP 任务。尽管如此,ChatGPT 在推荐领域的应用尚未被深入探究。在本文中,我们将 ChatGPT 用作通用推荐模型,以探索其将大规模语料中获取的广泛语言与世界知识迁移到推荐场景的潜力。具体而言,我们设计了一组提示,并在五个推荐场景中评估 ChatGPT 的性能。与传统推荐方法不同,我们在整个评估过程中不对 ChatGPT 进行微调,仅依靠提示本身将推荐任务转化为自然语言任务。进一步,我们探索使用少样本提示注入包含用户潜在兴趣的交互信息,以帮助 ChatGPT 更好地理解用户需求与兴趣。在 Amazon Beauty 数据集上的综合实验结果表明,ChatGPT 在某些任务上取得了有前景的结果,并能在其他任务上达到基线水平。我们在两个面向可解释性的任务上进行了人工评估,以更准确地评价不同模型生成内容的质量。人工评估显示 ChatGPT 能真正理解所提供的信息并生成更清晰、更合理的结果。我们希望本研究能启发研究者进一步探索 ChatGPT 等语言模型提升推荐性能的潜力,并为推荐系统领域的进步做出贡献。
引用
@article{arxiv.2304.10149,
title = {Is ChatGPT a Good Recommender? A Preliminary Study},
author = {Junling Liu and Chao Liu and Peilin Zhou and Renjie Lv and Kang Zhou and Yan Zhang},
journal= {arXiv preprint arXiv:2304.10149},
year = {2023}
}
备注
Accepted by CIKM 2023 GenRec Workshop