用于回复生成的分层循环注意力网络
计算与语言
2017-01-26 v1
摘要
我们研究聊天机器人中的多轮回复生成，其中回复根据对话上下文生成。现有工作已对上下文的层次结构进行了建模，但未能充分关注上下文中词语和语句的重要性存在差异这一事实。因此，它们可能丢失上下文中的重要信息并生成不相关的回复。我们提出一种分层循环注意力网络 (HRAN) 在统一框架中对两方面进行建模。在 HRAN 中，分层注意力机制分别通过词级注意力和语句级注意力来关注语句内部和语句之间的重要部分。通过词级注意力，词级编码器的隐藏向量被合成为语句向量并输入语句级编码器以构建上下文的隐藏表示。上下文的隐藏向量随后经语句级注意力处理并形成上下文向量用于解码回复。基于自动评估和人工判断的实证研究表明，HRAN 在多轮回复生成上能显著优于 state-of-the-art 模型。
引用
@article{arxiv.1701.07149,
title = {Hierarchical Recurrent Attention Network for Response Generation},
author = {Chen Xing and Wei Wu and Yu Wu and Ming Zhou and Yalou Huang and Wei-Ying Ma},
journal= {arXiv preprint arXiv:1701.07149},
year = {2017}
}