将表征性手势融入自动生成的具身解释及其对理解与交互质量的影响
人机交互
2024-08-15 v2 计算机视觉与模式识别
图形学
声音
音频与语音处理
摘要
在人类交互中,手势具有多种功能,例如标记言语节奏、突出关键元素和补充信息。这些手势在解释性语境中也能观察到。然而,手势对虚拟代理提供的解释的影响仍未得到充分探索。我们进行了一项用户研究,以调查不同类型的手势如何影响感知的交互质量和听众的理解。本研究通过开发一个具身虚拟解释器,整合了节拍手势和象形手势,以增强其自动生成的言语解释,从而探讨手势在解释中的作用。我们的模型将由学习到的语音驱动合成模块生成的节拍手势与手动捕获的象形手势相结合,以支持代理关于棋盘游戏Quarto!的言语表达作为解释场景。研究结果表明,无论是单独使用象形手势,还是将其与节拍手势结合使用,在理解方面均未优于基线或仅使用节拍手势的条件。尽管如此,与先前的研究相比,具身代理显著提高了理解能力。
引用
@article{arxiv.2406.12544,
title = {Integrating Representational Gestures into Automatically Generated Embodied Explanations and its Effects on Understanding and Interaction Quality},
author = {Amelie Sophie Robrecht and Hendric Voss and Lisa Gottschalk and Stefan Kopp},
journal= {arXiv preprint arXiv:2406.12544},
year = {2024}
}