通过实时交互评估具身对话智能体的数据驱动协同语音手势

使用协同语音手势的具身对话智能体（ECA）能以多种方式增强人机交互。近年来，针对 ECA 的数据驱动手势生成方法吸引了大量研究关注，相关方法不断改进。实时交互通常用于研究人员评估生成基于规则手势的 ECA 系统。然而，在评估基于数据驱动方法的 ECA 性能时，常仅要求参与者观看预录视频，无法充分提供关于交互中人所感知的信息。为弥补此局限，我们探索使用实时交互来评估数据驱动手势生成的 ECA。我们提供了一个测试床框架，并研究了手势是否会在拟人度、生动性、感知智能和专注度维度上影响人对 ECA 的感知。用户研究要求参与者与两个 ECA 交互——一个带手部手势，一个不带。我们收集了参与者自我报告问卷的主观数据以及眼动追踪器的客观数据。据我们所知，本研究代表首次通过实时交互评估数据驱动手势 ECA 的尝试，也是首个使用眼动追踪检验 ECA 手势效应的实验。