用于文本生成的隐式深度潜变量模型
机器学习
2019-12-02 v3 计算与语言
机器学习
摘要
变分自编码器（VAE）等深度潜变量模型（LVM）近期在文本生成中发挥了重要作用。一个关键因素是利用平滑的潜结构来引导生成。然而，VAE的表示能力受限于两方面原因：（1）变分后验常作高斯假设；同时（2）存在臭名昭著的“后验坍塌”问题。本文中，我们主张对自然语言采用基于样本的变分分布表示，从而得到隐式潜特征，相较于基于高斯的后验可提供灵活的表示能力。我们进一步开发了一种LVM，直接将聚合后验与先验进行匹配。它可视为VAE的自然扩展，并带有最大化互信息的正则化，从而缓解“后验坍塌”问题。我们在多种文本生成场景中展示了模型的有效性与通用性，包括语言建模、非对齐风格迁移以及对话响应生成。用于复现实验结果的源代码已在GitHub上提供。
引用
@article{arxiv.1908.11527,
title = {Implicit Deep Latent Variable Models for Text Generation},
author = {Le Fang and Chunyuan Li and Jianfeng Gao and Wen Dong and Changyou Chen},
journal= {arXiv preprint arXiv:1908.11527},
year = {2019}
}
备注
13 pages, 8 Tables, 1 Figure, Accepted at 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP 2019)