用于文本建模的变分Wasserstein自编码器上的黎曼正则流
计算与语言
2019-04-24 v4 机器学习
摘要
循环变分自编码器已广泛用于语言建模和文本生成任务。这些模型常面临困难的优化问题，即所谓的Kullback-Leibler(KL)项消失问题，其中后验容易坍缩到先验，且模型在生成任务中会忽略潜变量。为解决此问题，我们引入了一种改进的带有黎曼正则流(RNF)的Wasserstein变分自编码器(WAE)用于文本建模。RNF将潜变量变换到尊重输入空间几何特征的空间中，这使得后验不可能坍缩到无信息先验。Wasserstein目标直接最小化边缘分布与先验之间的距离，因此不强制后验匹配先验。实证实验表明，我们的模型在一系列数据集上避免了KL消失，并在语言建模、似然逼近和文本生成等任务中具有更好的性能。通过对潜空间的一系列实验和分析，我们表明我们的模型学习到了尊重潜空间几何的潜分布，并能够生成更多样的句子。
引用
@article{arxiv.1904.02399,
title = {Riemannian Normalizing Flow on Variational Wasserstein Autoencoder for Text Modeling},
author = {Prince Zizhuang Wang and William Yang Wang},
journal= {arXiv preprint arXiv:1904.02399},
year = {2019}
}
备注
NAACL 2019 (oral)