主题感知的神经回复生成
计算与语言
2016-09-20 v2
摘要
我们考虑将主题信息融入序列到序列框架，以为聊天机器人产生信息丰富且有趣的回复。为此，我们提出了一种主题感知的序列到序列（TA-Seq2Seq）模型。该模型利用主题来模拟人类的先验知识，这些知识引导人们在对话中形成信息丰富且有趣的回复，并通过联合注意力机制和有偏的生成概率在生成过程中利用主题信息。联合注意力机制通过消息注意力将输入消息的隐藏向量总结为上下文向量，通过主题注意力从由预训练的LDA模型获得的消息主题词中合成主题向量，并让这些向量在解码过程中共同影响词语的生成。为了增加主题词出现在回复中的可能性，该模型通过添加一个额外的概率项来偏置整体分布，从而修改主题词的生成概率。基于自动评估指标和人工标注的实证研究表明，TA-Seq2Seq能够生成信息更丰富、更有趣的回复，并显著优于当前最先进的回复生成模型。
引用
@article{arxiv.1606.08340,
title = {Topic Aware Neural Response Generation},
author = {Chen Xing and Wei Wu and Yu Wu and Jie Liu and Yalou Huang and Ming Zhou and Wei-Ying Ma},
journal= {arXiv preprint arXiv:1606.08340},
year = {2016}
}