变分自编码器中Kullback-Leibler散度项在文本生成中的重要性
计算与语言
2019-10-01 v1 机器学习
摘要
变分自编码器（VAEs）已知会因近似后验坍缩或潜空间纠缠等问题而学到输入的无信息潜表示。我们对VAE目标函数中的Kullback-Leibler（KL）散度项施加显式约束。虽然该显式约束自然避免了后验坍缩，但我们利用它进一步理解KL项在控制通过VAE信道传输的信息方面的重要性。在此框架内，我们探究了估计后验分布的不同性质，并强调了训练期间编码于潜码中的信息量与模型生成能力之间的权衡。
引用
@article{arxiv.1909.13668,
title = {On the Importance of the Kullback-Leibler Divergence Term in Variational Autoencoders for Text Generation},
author = {Victor Prokhorov and Ehsan Shareghi and Yingzhen Li and Mohammad Taher Pilehvar and Nigel Collier},
journal= {arXiv preprint arXiv:1909.13668},
year = {2019}
}
备注
10 pages; Accepted in 3rd Workshop on Neural Generation and Translation (WNGT 2019)