基于生成方法和运动捕捉的 MetaHuman 人类化非语言行为架构：用于真实世界互动研究
人机交互
2025-01-22 v1 机器人学
摘要
社交交互式代理正在各类领域（如医疗、教育和服务领域）中获得 prominence，尤其是虚拟代理因其内在可扩展性而受到青睐。为促进真实交互，这些系统需要通过面部表情和手势等方式进行语言和非语言交流。尽管自然语言处理技术取得了快速进展，但将人类化非语言行为融入真实世界交互上下文仍是提升沟通成功率的关键，而这一领域仍受到忽视。一个障碍在于创建具备高级对话能力且集成人类化非语言行为的自主系统。本文提出一种分布式架构，采用 Epic Games MetaHuman，结合先进的对话 AI 和基于摄像头的用户管理，支持运动捕捉、手工动画和生成方法等用于非语言行为。我们分享了旨在探讨社交交互式代理非语言行为的系统架构见解，并于德国博物馆（Deutsches Museum Bonn）部署进行为期三周的现场研究，展示了其在真实世界非语言行为研究中的潜力。
引用
@article{arxiv.2501.10713,
title = {Human-like Nonverbal Behavior with MetaHumans in Real-World Interaction Studies: An Architecture Using Generative Methods and Motion Capture},
author = {Oliver Chojnowski and Alexander Eberhard and Michael Schiffmann and Ana Müller and Anja Richert},
journal= {arXiv preprint arXiv:2501.10713},
year = {2025}
}
备注
Accepted for presentation at the ACM/IEEE International Conference on Human-Robot Interaction (HRI 2025) as a Late-Breaking Report