情感自适应的端到端对话系统

端到端学习框架因其训练简单和模型更新高效而适用于构建对话系统。然而，当前的端到端方法在学习中仅考虑用户的语义输入，未充分利用其他用户信息。因此，我们提出在端到端学习框架中引入通过多模态信息（声学、对话和文本）获取的用户情感，使系统更具用户自适应性且更有效。我们在监督学习和强化学习两种设置中都融入了用户情感信息。在两种设置下，加入情感信息均缩短了对话长度并提高了总线信息搜索任务的任务成功率。这项工作是首次在自适应端到端对话系统训练框架中融入多模态用户信息的尝试，并取得了 SOTA 性能。