基于用户行为客观评估口语对话系统的分析

建立口语对话系统的评估方案很重要，但也可能具有挑战性。虽然主观评估常用于用户实验，但客观评估对于研究比较和可重复性是必要的。为了解决这个问题，我们提出了一个基于用户行为间接但客观地评估系统的框架。在本文中，为此目的，我们研究了社交对话任务中用户行为与主观评估分数之间的关系：专注倾听、求职面试和初次见面交谈。结果表明，在用户话语占主导地位的对话任务中，如专注倾听和求职面试，话语数量和单词数量等指标在评估中起着重要作用。观察不流利性也可以指示正式任务（如求职面试）的有效性。另一方面，在交互性高的对话任务中，如初次见面交谈，与话轮转换相关的行为，如平均切换停顿时长，变得更加重要。这些发现表明，选择合适的用户行为可以为每个社交对话任务的客观评估提供有价值的见解。