具备唇形同步与表情能力的高保真开放具身虚拟形象
人机交互
2019-10-16 v2 人工智能
计算机视觉与模式识别
图形学
摘要
作为虚拟智能体的具身虚拟形象具有诸多应用，并相较非具身智能体具有优势，其可像人类彼此交互那样利用非语言的社会与交互线索。我们提出一个基于Unreal Engine构建的开放具身虚拟形象，可通过简单的python编程接口控制。该虚拟形象具备唇形同步（音素控制）、头部姿态与面部表情（使用面部动作单元或基本情绪类别）能力。我们发布代码与模型，以展示如何像操纵木偶一样控制该虚拟形象，或利用公开应用程序编程接口（APIs）创建简单的对话智能体。GITHUB链接：https://github.com/danmcduff/AvatarSim
引用
@article{arxiv.1909.08766,
title = {A High-Fidelity Open Embodied Avatar with Lip Syncing and Expression Capabilities},
author = {Deepali Aneja and Daniel McDuff and Shital Shah},
journal= {arXiv preprint arXiv:1909.08766},
year = {2019}
}
备注
International Conference on Multimodal Interaction (ICMI 2019)