一种面对面神经对话模型
计算机视觉与模式识别
2018-12-05 v1 计算与语言
图形学
摘要
神经网络近来已擅长参与对话。然而，当前方法仅基于口头文本，缺乏真实面对面对话的丰富性。我们提出一种神经对话模型，旨在伴随文本读取并生成面部手势。这使得我们的模型能基于对话的“情绪”调整其回应。具体地，我们引入一种利用面部肌肉运动以及口头对话的 RNN 编码器-解码器。解码器由两层组成，下层旨在生成口头回应与粗略面部表情，而第二层填补细微手势，使生成输出更平滑自然。我们通过让神经网络“观看”250 部电影来训练它。我们通过自动指标与一项人类研究展示我们的联合人脸-文本模型在生成更自然对话方面的表现。我们演示了一个带面对面聊天虚拟形象的应用实例。
引用
@article{arxiv.1812.01525,
title = {A Face-to-Face Neural Conversation Model},
author = {Hang Chu and Daiqing Li and Sanja Fidler},
journal= {arXiv preprint arXiv:1812.01525},
year = {2018}
}
备注
Published at CVPR 2018