用于概率句子生成的随机Wasserstein自编码器
计算与语言
2019-04-15 v2 机器学习
机器学习
摘要
变分自编码器（VAE）在潜空间上施加概率分布（通常为高斯分布），并惩罚后验与先验之间的Kullback–Leibler（KL）散度。在自然语言处理中，由于KL坍缩为零的问题，VAE极难训练。必须以精心设计的多种方式实现诸如KL权重退火与词丢弃等启发式方法，才能成功训练用于文本的VAE。在本文中，我们提出使用Wasserstein自编码器（WAE）进行概率句子生成，其中编码器可以是随机的或确定性的。我们从理论与经验上表明，在原始WAE中，随机编码的高斯分布倾向于变成狄拉克δ函数，并提出了一种鼓励编码器随机性的WAE变体。实验结果表明，WAE学习到的潜空间展现出与VAE中相同的连续性与平滑性性质，同时对于句子重构取得了显著更高的BLEU分数。
引用
@article{arxiv.1806.08462,
title = {Stochastic Wasserstein Autoencoder for Probabilistic Sentence Generation},
author = {Hareesh Bahuleyan and Lili Mou and Hao Zhou and Olga Vechtomova},
journal= {arXiv preprint arXiv:1806.08462},
year = {2019}
}
备注
Accepted by NAACL-HLT 2019