DialogWAE:基于条件 Wasserstein 自编码器的多模态回复生成
计算与语言
2019-02-27 v2 人工智能
机器学习
神经与进化计算
摘要
变分自编码器(VAEs)在数据驱动的对话建模中已展现出前景。然而,大多数 VAE 对话模型将潜变量上的近似后验分布匹配为简单先验(如标准正态分布),从而将生成的回复限制在相对简单(例如单峰)的范围内。本文提出 DialogWAE,一种专为对话建模设计的条件 Wasserstein 自编码器(WAE)。与 VAE 在潜变量上强加简单分布不同,DialogWAE 通过在潜变量空间内训练一个 GAN 来建模数据分布。具体而言,我们的模型通过神经网络变换上下文相关的随机噪声,从潜变量上的先验和后验分布中采样,并最小化两个分布之间的 Wasserstein 距离。我们进一步开发了高斯混合先验网络以丰富潜空间。在两个流行数据集上的实验表明,DialogWAE 在生成更连贯、信息更丰富且更多样的回复方面优于最先进的方法。
引用
@article{arxiv.1805.12352,
title = {DialogWAE: Multimodal Response Generation with Conditional Wasserstein Auto-Encoder},
author = {Xiaodong Gu and Kyunghyun Cho and Jung-Woo Ha and Sunghun Kim},
journal= {arXiv preprint arXiv:1805.12352},
year = {2019}
}
备注
Published as a conference paper at ICLR 2019