CRS Arena：对话推荐系统的众包基准测试
信息检索
2024-12-17 v1
摘要
我们介绍了 CRS Arena，一个基于人类反馈的可扩展对话推荐系统（CRS）基准测试研究平台。该平台展示匿名对话推荐系统之间的成对战，用户依次与这些系统进行交互，然后宣布胜者或平局。CRS Arena 收集对话和用户反馈，为 CRS 的可靠评估和排名提供基础。我们在开放和封闭众包平台上使用 CRS Arena 进行了实验，证实这两种设置均产生高度相关的 CRS 排名以及具有相似特征的对话。我们发布了 CRSArena-Dial，一个包含 474 段对话及其对应用户反馈的数据集，以及基于 Elo 评分系统的系统初步排名。该平台可在 https://iai-group-crsarena.hf.space/ 访问。
引用
@article{arxiv.2412.10514,
title = {CRS Arena: Crowdsourced Benchmarking of Conversational Recommender Systems},
author = {Nolwenn Bernard and Hideaki Joko and Faegheh Hasibi and Krisztian Balog},
journal= {arXiv preprint arXiv:2412.10514},
year = {2024}
}
备注
Proceedings of the Eighteenth ACM International Conference on Web Search and Data Mining (WSDM '25), March 10--14, 2025, Hannover, Germany