作为零样本对话推荐器的大语言模型
信息检索
2023-08-22 v1 人工智能
摘要
本文以零样本设定使用代表性大语言模型对对话推荐任务展开实证研究，具三项主要贡献。(1) 数据：为洞察模型在“真实”对话推荐场景中的行为，我们通过爬取一热门讨论网站构建了新的推荐相关对话数据集。这是迄今最大的公开真实世界对话推荐数据集。(2) 评估：在该新数据集与两个已有对话推荐数据集上，我们观察到即便未经微调，大语言模型亦可超越已有的微调对话推荐模型。(3) 分析：我们提出多种探测任务以探究大语言模型在对话推荐中卓越表现背后的机制。我们分析大语言模型行为及数据集特征，从而对模型有效性、局限性提供整体理解，并为未来对话推荐器设计指明方向。
引用
@article{arxiv.2308.10053,
title = {Large Language Models as Zero-Shot Conversational Recommenders},
author = {Zhankui He and Zhouhang Xie and Rahul Jha and Harald Steck and Dawen Liang and Yesu Feng and Bodhisattwa Prasad Majumder and Nathan Kallus and Julian McAuley},
journal= {arXiv preprint arXiv:2308.10053},
year = {2023}
}
备注
Accepted as CIKM 2023 long paper. Longer version is coming soon (e.g., more details about dataset)