Concept：结合系统中心与用户中心因素的对话式推荐系统评估协议
计算与语言
2024-05-07 v3 人工智能
摘要
尽管学术界近期取得了重大进展，但对话式推荐系统（CRS）在现实场景中的用户体验仍受到批评。现有的 CRS 评估协议可能优先考虑以系统为中心的因素，如对话的有效性和流畅性，而忽视了以用户为中心的方面。因此，我们提出了一种新的包容性评估协议 Concept，它整合了以系统为中心和以用户为中心的因素。我们将代表这些因素的三个关键特征概念化，并进一步将其划分为六种主要能力。为了实现 Concept，我们采用了基于 LLM 的用户模拟器和评估器，并配有为每种主要能力量身定制的评分标准。我们的协议 Concept 具有双重目的。首先，它概述了当前 CRS 模型的优缺点。其次，它指出了“全能”ChatGPT 可用性低的问题，并为评估 CRS 提供了全面的参考指南，从而为 CRS 的改进奠定基础。
引用
@article{arxiv.2404.03304,
title = {Concept -- An Evaluation Protocol on Conversational Recommender Systems with System-centric and User-centric Factors},
author = {Chen Huang and Peixin Qin and Yang Deng and Wenqiang Lei and Jiancheng Lv and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2404.03304},
year = {2024}
}
备注
33 pages, 18 tables, and 10 figures. Our code is available at https://github.com/huangzichun/Concept4CRS