用于短文本对话响应生成的离散CVAE模型
计算与语言
2019-11-25 v1
摘要
编码器—解码器等神经对话模型容易生成平淡且通用的回复。一些研究者提出使用条件变分自编码器（CVAE），其在连续潜变量上最大化条件对数似然的下界。通过采样不同的潜变量，模型有望生成多样化回复。尽管基于 CVAE 的模型已展现出巨大潜力，其在生成高质量回复方面的改进仍不尽如人意。在本文中，我们引入具有显式语义含义的离散潜变量，以改进短文本对话上的 CVAE。我们模型的一大优势在于可利用潜变量间的语义距离，维持所采样潜变量间良好的多样性。相应地，我们提出一种两阶段采样方法，以在短文本对话任务所假设的大潜空间中实现高效的多样变量选择。实验结果表明，在自动与人工评估下，我们的模型均优于各类生成模型，并生成更具多样性和信息量的回复。
引用
@article{arxiv.1911.09845,
title = {A Discrete CVAE for Response Generation on Short-Text Conversation},
author = {Jun Gao and Wei Bi and Xiaojiang Liu and Junhui Li and Guodong Zhou and Shuming Shi},
journal= {arXiv preprint arXiv:1911.09845},
year = {2019}
}
备注
Accepted for publication at EMNLP 2019