具有可逆神经投影的变分高斯主题模型
人工智能
2021-05-24 v1
摘要
神经主题模型引发了从文本中自动提取主题的热潮，因为它们避免了传统主题模型中复杂的推导。然而，很少有神经主题模型将词嵌入中捕获的词相关性信息纳入建模过程。为了解决这个问题，我们提出了一种新颖的主题建模方法，称为变分高斯主题模型（VaGTM）。基于变分自编码器，所提出的VaGTM在解码器中使用多元高斯分布对每个主题进行建模，以融入词相关性。此外，为了解决预训练词嵌入中与主题相关的词不服从多元高斯分布的限制，从VaGTM扩展出了具有可逆神经投影的变分高斯主题模型（VaGTM-IP）。实验中使用了三个基准文本语料库来验证VaGTM和VaGTM-IP的有效性。实验结果表明，VaGTM和VaGTM-IP优于几个竞争基线，并获得了更连贯的主题。
引用
@article{arxiv.2105.10095,
title = {Variational Gaussian Topic Model with Invertible Neural Projections},
author = {Rui Wang and Deyu Zhou and Yuxuan Xiong and Haiping Huang},
journal= {arXiv preprint arXiv:2105.10095},
year = {2021}
}