用于文本建模的Dirichlet变分自编码器
计算与语言
2018-11-02 v1 人工智能
机器学习
神经与进化计算
摘要
我们引入了一种改进的变分自编码器(VAE)用于文本建模，其中主题信息被显式建模为一个Dirichlet潜变量。通过赋予所提模型主题感知能力，其在重构输入文本方面更为优越。此外，由于新引入的Dirichlet变量与传统的多元高斯变量之间的固有交互，该模型更不易出现KL散度消失。我们推导了新模型的变分下界，并在四个不同数据集上进行了实验。结果表明，所提模型在潜空间中的文本重构方面更优，且基于所学表示的分类具有更高的测试准确率。
引用
@article{arxiv.1811.00135,
title = {Dirichlet Variational Autoencoder for Text Modeling},
author = {Yijun Xiao and Tiancheng Zhao and William Yang Wang},
journal= {arXiv preprint arXiv:1811.00135},
year = {2018}
}