用于变分自编码器的高斯 Copula 神经网络
计算与语言
2019-09-10 v1 机器学习
神经与进化计算
机器学习
摘要
变分语言模型旨在用近似变分后验估计潜变量的后验。模型常假设变分后验可分解，即便真实后验并非如此。在此假设下学习到的变分后验无法捕捉潜变量间的依赖关系。我们认为这会导致在所有其他变分语言模型中观察到的典型训练问题——后验坍缩。我们提出高斯 Copula 变分自编码器（VAE）以避免此问题。Copula 被广泛用于建模高维随机变量的相关性与依赖关系，因此有助于保持 VAE 中丢失的依赖关系。实证结果表明，通过使用神经参数化 copula 显式建模潜变量相关性，我们可避免这一训练困难，同时在所有其他 VAE 方法中取得具竞争力的结果。
引用
@article{arxiv.1909.03569,
title = {Neural Gaussian Copula for Variational Autoencoder},
author = {Prince Zizhuang Wang and William Yang Wang},
journal= {arXiv preprint arXiv:1909.03569},
year = {2019}
}
备注
11 pages