机器人学习社交技能：人形机器人协同语音手势生成的端到端学习

协同语音手势增强了人与人之间以及人与机器人之间的交互体验。现有机器人使用基于规则的语音-手势关联，但这需要专家的人工劳动与先验知识才能实施。我们提出了一种从52小时TED演讲中学习得到的基于学习的协同语音手势生成方法。所提端到端神经网络模型由用于语音文本理解的编码器与用于生成手势序列的解码器组成。该模型成功生成了包括象似、隐喻、指示和节拍等多种手势。在主观评价中，参与者报告手势拟人化且与语音内容匹配。我们还展示了NAO机器人实时执行的协同语音手势。