具有动态词表的神经响应生成
计算与语言
2017-12-01 v1
摘要
我们研究聊天机器人中开放域对话的响应生成。现有方法假设响应中的词无论输入如何都从同一词表生成，这不仅使模型易受通用模式和无关噪声影响，还导致解码成本高昂。我们提出动态词表序列到序列（DVS2S）模型，允许每个输入在解码时拥有自己的词表。在训练中，词表构建与响应生成通过蒙特卡洛采样方法最大化真实目标的下界而联合学习。在推理时，模型通过词预测模型为输入动态分配一个小词表，并仅使用该小词表进行解码。得益于动态词表机制，DVS2S 在生成中规避了许多通用模式和无关词，同时实现了高效解码。自动指标与人工标注的实验结果表明，DVS2S 在响应质量上显著优于最先进方法，而解码时间仅需最高效基线的 60%。
引用
@article{arxiv.1711.11191,
title = {Neural Response Generation with Dynamic Vocabularies},
author = {Yu Wu and Wei Wu and Dejian Yang and Can Xu and Zhoujun Li and Ming Zhou},
journal= {arXiv preprint arXiv:1711.11191},
year = {2017}
}
备注
accepted by AAAI18