一种无需重参数化技巧的离散变分循环主题模型
机器学习
2020-10-26 v1
摘要
我们展示了如何学习一个带有离散随机变量的神经主题模型——该模型显式建模每个词所分配的主题——使用神经变分推断，且不依赖随机反向传播来处理离散变量。我们采用的模型结合了神经方法表示文本序列的表达能力以及主题模型捕捉全局主题一致性的能力。利用神经变分推断，我们在多个语料库上展示了困惑度和文档理解的提升。我们考察了先验参数对模型和变分参数的影响，并展示了我们的方法在主题质量的自动度量上能够媲美并超越一种流行的主题模型实现。
引用
@article{arxiv.2010.12055,
title = {A Discrete Variational Recurrent Topic Model without the Reparametrization Trick},
author = {Mehdi Rezaee and Francis Ferraro},
journal= {arXiv preprint arXiv:2010.12055},
year = {2020}
}
备注
To appear in Neural Information Processing Systems (NeurIPS 2020)