从混合现实中的人类演示学习生成实时机器人情感表达

机器人的表达性行为对于在人机交互过程中有效传达其情感状态至关重要。在这项工作中，我们提出了一个框架，该框架基于在混合现实（MR）中捕获的专家人类演示，自主生成逼真且多样化的机器人情感表达。我们的系统使专家能够从第一人称视角遥操作虚拟机器人，捕获他们的面部表情、头部运动和上半身手势，并将这些行为映射到相应的机器人组件上，包括眼睛、耳朵、颈部和手臂。利用基于流匹配的生成过程，我们的模型学习根据移动物体实时产生连贯且多样的行为，并明确以给定的情感状态为条件。初步测试验证了我们的方法在生成自主表达方面的有效性。