勿忘基础：评估面向聊天的对话系统的最新技术水平
计算与语言
2023-08-01 v3
摘要
尽管对话系统取得了巨大进步，但稳定的评估仍然需要人类判断，而由于固有的主观性，这会产生众所周知的高方差度量。此外，对话评估中的方法和标签并未完全标准化，尤其是对于开放域聊天，缺乏比较和评估这些方法有效性的工作。使用不一致的评估可能会误导对话系统的性能，这成为改进它的主要障碍。因此，需要一种能够可靠衡量对话能力多个方面的、面向聊天的开放域对话系统的维度化评估方法。本文提出了一种新颖的人类评估方法，用于估计多种对话系统行为的比率。我们的方法用于评估四个最先进的开放域对话系统，并与现有方法进行了比较。分析表明，对于这些系统的维度化评估，我们的行为方法比替代的 Likert 式或比较式方法更合适。
引用
@article{arxiv.2212.09180,
title = {Don't Forget Your ABC's: Evaluating the State-of-the-Art in Chat-Oriented Dialogue Systems},
author = {Sarah E. Finch and James D. Finch and Jinho D. Choi},
journal= {arXiv preprint arXiv:2212.09180},
year = {2023}
}
备注
Accepted to ACL 2023; first two authors contributed equally