Dagstuhl视角工作坊24352——对话式智能体评估框架（CAFE）：宣言
计算与语言
2025-12-23 v2 人机交互
信息检索
摘要
本工作坊深入探讨了对话式信息获取（CONIAC）的内涵及独特特征，提出抽象化世界模型，定义对话式智能体评估框架（CAFE），用于评估CONIAC系统。CAFE包含六大组成部分：1）系统干系人目标，2）用于评估的用户任务，3）用户执行任务时的行为特征，4）用于考虑的评估准则，5）采用的评估方法论，6）所选定量准则的衡量指标。
引用
@article{arxiv.2506.11112,
title = {Dagstuhl Perspectives Workshop 24352 -- Conversational Agents: A Framework for Evaluation (CAFE): Manifesto},
author = {Christine Bauer and Li Chen and Nicola Ferro and Norbert Fuhr and Avishek Anand and Timo Breuer and Guglielmo Faggioli and Ophir Frieder and Hideo Joho and Jussi Karlgren and Johannes Kiesel and Bart P. Knijnenburg and Aldo Lipani and Lien Michiels and Andrea Papenmeier and Maria Soledad Pera and Mark Sanderson and Scott Sanner and Benno Stein and Johanne R. Trippas and Karin Verspoor and Martijn C Willemsen},
journal= {arXiv preprint arXiv:2506.11112},
year = {2025}
}
备注
10 figures; Dagstuhl Manifestos, 11(1), pp 19-67. DOI: 10.4230/DagMan.11.1.19