具身对话代理中手势生成评估实践的综述
人机交互
2022-03-02 v2
摘要
具身对话代理（ECA）常被设计产生非言语行为以补充或增强其言语交流。此类非言语行为的一种形式是伴语手势，即代理在手臂和手部做出的与言语交流相配合的动作。ECA 的伴语手势可通过不同生成方法创建，分为基于规则与数据驱动过程，后者因应用机器学习社区日益关注而获得势头。然而，关于手势生成方法的报告使用了多种评估指标，阻碍了比较。为此，我们针对象征性、隐喻性、指示性与节拍手势的伴语手势生成方法（含所报告评估方法）进行系统综述。我们回顾了22项研究，这些研究涉及具有类人上半身、在社会性人-代理交互中使用伴语手势的 ECA，包括采用人类参与者评估性能的研究。我们发现多数研究采用被试内设计并依赖某种主观评估，但缺乏系统方法。我们认为该领域需要更严谨统一的伴语手势评估工具，并制定实证评估建议，含标准化短语与示例场景以助跨研究系统测试生成模型。此外，我们还提出一份检查清单，可用于报告生成模型评估的相关信息，以及评估伴语手势的使用。
引用
@article{arxiv.2101.03769,
title = {A Review of Evaluation Practices of Gesture Generation in Embodied Conversational Agents},
author = {Pieter Wolfert and Nicole Robinson and Tony Belpaeme},
journal= {arXiv preprint arXiv:2101.03769},
year = {2022}
}
备注
11 pages, accepted for publication in IEEE Transactions on Human-Machine Systems