多模态情绪调节与情感一致性对于具身对话智能体的重要性
人机交互
2023-12-08 v2 人工智能
图形学
摘要
先前关于具身虚拟智能体情绪感知的研究已表明，利用虚拟角色通过与人交互传达情绪是有效的。然而，创建一个具有表现力行为的自主具身对话智能体面临两大挑战。第一重挑战在于难以合成各模态下如真实人类行为般富有表现力的对话行为。第二重挑战是情感被独立建模，难以生成跨所有模态情感一致的多模态响应。本工作中，我们提出一个概念框架 ACTOR(Affect-Consistent mulTimodal behaviOR generation，情感一致多模态行为生成)，旨在通过生成以一致驱动情感为条件的多模态行为来增强情感感知。我们开展了有 199 名参与者参与的用户研究，以评估普通人如何评判与驱动情感一致或不一致的多模态行为所感知到的情感。结果表明，在所有模型条件中，我们的情感一致框架在驱动情感感知上获得了最高的李克特分数。我们的统计分析显示，使某一模态情感不一致会显著降低驱动情感的感知。我们还观察到，以一致情感为条件的多模态行为比不一致情感下的行为更具表现力。因此，我们得出结论：多模态情绪调节与情感一致性对于增强具身对话智能体的情感感知至关重要。
引用
@article{arxiv.2309.15311,
title = {The Importance of Multimodal Emotion Conditioning and Affect Consistency for Embodied Conversational Agents},
author = {Che-Jui Chang and Samuel S. Sohn and Sen Zhang and Rajath Jayashankar and Muhammad Usman and Mubbasir Kapadia},
journal= {arXiv preprint arXiv:2309.15311},
year = {2023}
}