用于稳定变分自编码器的球面潜空间
计算与语言
2018-10-15 v2
摘要
用于文本处理的变分自编码器（VAEs）的一个显著特点是其将强大的编码器-解码器模型（如 LSTMs）与简单的潜变量分布（通常是多元高斯分布）相结合。这些模型带来了一个困难的优化问题：存在一个尤其糟糕的局部最优，其中变分后验始终等于先验，模型完全不使用潜变量，这是一种被目标函数的 KL 散度项所助长的“坍缩”。在这项工作中，我们尝试了另一种潜变量分布的选择，即 von Mises-Fisher（vMF）分布，它将质量置于单位超球面上。通过这种先验和后验的选择，KL 散度项现在仅依赖于 vMF 分布的方差，使我们能够将其视为固定的超参数。我们表明，这样做不仅避免了 KL 坍缩，而且在一系列建模条件下（包括循环语言建模和词袋文档建模）始终比高斯分布给出更好的似然。对我们 vMF 表示性质的分析表明，它们在其潜变量表示中学习到比高斯对应物更丰富、更细微的结构。
引用
@article{arxiv.1808.10805,
title = {Spherical Latent Spaces for Stable Variational Autoencoders},
author = {Jiacheng Xu and Greg Durrett},
journal= {arXiv preprint arXiv:1808.10805},
year = {2018}
}
备注
To appear in EMNLP 2018; 11 pages; Code release: https://github.com/jiacheng-xu/vmf_vae_nlp