SPHERE：面向人机系统的评估卡
人机交互
2025-04-14 v1 人工智能
摘要
在大语言模型（LLM）时代，为多样化的人机交互系统建立有效的评估方法和标准正变得日益具有挑战性。为了鼓励更透明的文档记录并促进关于人机系统评估设计选项的讨论，我们提出了一种评估卡 SPHERE，它包含五个关键维度：1）评估什么？；2）如何进行评估？；3）谁参与评估？；4）何时进行评估？；5）如何验证评估？我们使用 SPHERE 对 39 个人机系统进行了审查，概述了当前的评估实践及有待改进的领域。我们为提高评估实践的有效性和严谨性提供了三项建议。
引用
@article{arxiv.2504.07971,
title = {SPHERE: An Evaluation Card for Human-AI Systems},
author = {Qianou Ma and Dora Zhao and Xinran Zhao and Chenglei Si and Chenyang Yang and Ryan Louie and Ehud Reiter and Diyi Yang and Tongshuang Wu},
journal= {arXiv preprint arXiv:2504.07971},
year = {2025}
}