利用离散潜变量瓶颈改进用于文本生成的变分自编码器
机器学习
2021-02-26 v2 计算与语言
机器学习
摘要
变分自编码器（VAEs）是端到端表示学习的重要工具。然而，序列文本生成中 VAEs 的常见缺陷是模型倾向于以强自回归解码器忽略潜变量。在本文中，我们提出一种原则性方法来缓解该问题，即应用离散化瓶颈以在更紧凑的潜空间中强制隐式潜特征匹配。我们施加一个共享离散潜空间，其中每个输入被学习为选择潜原子的组合作为正则化潜表示。我们的模型赋予了建模离散序列底层语义的有前景能力，从而提供更可解释的潜结构。在经验上，我们在广泛任务上展示了模型的效率与有效性，包括语言建模、非对齐文本风格迁移、对话响应生成和神经网络机器翻译。
引用
@article{arxiv.2004.10603,
title = {Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck},
author = {Yang Zhao and Ping Yu and Suchismit Mahapatra and Qinliang Su and Changyou Chen},
journal= {arXiv preprint arXiv:2004.10603},
year = {2021}
}
备注
replaced