VR 环境下情感 3D 动画生成模型的评估

社交互动包含非语言信号，用于在语音之外传递情感，包括面部表情和身体姿态。生成模型在创建与语音同步的全身非语言动画方面已显示出前景。然而，基于统计指标的 2D 环境评估难以充分捕捉用户感知的情感，限制了我们对模型效果的理解。为此，我们在虚拟现实 (VR) 环境中评估情感 3D 动画生成模型，强调用户中心指标情感唤起现实性、自然性、愉悦感、多样性和互动质量，以进行实时人类-智能体互动情景。通过用户研究 (N=48)，我们检验了三种最新语音驱动 3D 动画方法在两种情感 happiness (高唤起) 和中性 (中等唤起) 下的感知情感质量。此外，我们将这些生成模型与通过重建方法获取的真实人类表情进行比较，以评估它们的优势和局限性以及它们多接近于真实人类面部和身体表情。我们的结果表明，显式建模情感的方法在识别准确度上高于仅关注语音同步的方法。用户对 happiness 动画的真实性和自然性评分显著高于中性动画，这凸显了当前生成模型在处理细微情感状态方面的局限性。生成模型在面部表情质量上表现不如重建方法，所有方法在动画愉悦感和互动质量方面的评分相对较低，这凸显了在生成模型开发中纳入用户中心评估的重要性。最后，参与者对所有生成模型的动画多样性都有积极的认可。