利用时间步正则化改进用于文本建模的变分自编码器
计算与语言
2020-11-04 v2 机器学习
摘要
变分自编码器（VAE）是一种流行且强大的应用于文本建模以生成多样化句子的模型。然而，当 VAE 用于文本建模时，会发生称为后验坍缩（或 KL 损失消失）的问题，即近似后验坍缩到先验，并且模型在文本生成过程中将完全忽略潜变量并退化为普通语言模型。当采用基于 RNN 的 VAE 模型进行文本建模时，此类问题尤为普遍。在本文中，我们提出了一种简单、通用的架构，称为时间步正则化 VAE（TWR-VAE），它能有效避免后验坍缩，并可应用于任何基于 RNN 的 VAE 模型。我们模型的有效性和通用性在不同的任务中得到了证明，包括语言建模和对话响应生成。
引用
@article{arxiv.2011.01136,
title = {Improving Variational Autoencoder for Text Modelling with Timestep-Wise Regularisation},
author = {Ruizhe Li and Xiao Li and Guanyi Chen and Chenghua Lin},
journal= {arXiv preprint arXiv:2011.01136},
year = {2020}
}
备注
Accepted by COLING 2020, final camera ready version