基于Wasserstein自编码器的主题建模
信息检索
2019-12-10 v2 人工智能
机器学习
摘要
我们在Wasserstein自编码器（WAE）框架下提出了一种新颖的神经主题模型。与现有基于变分自编码器的模型不同，我们直接在潜在文档-主题向量上施加Dirichlet先验。我们利用潜在空间的结构并应用合适的核来最小化最大均值差异（MMD）以进行分布匹配。我们发现MMD在匹配高维Dirichlet分布上远优于生成对抗网络（GAN）。我们进一步发现，在训练期间于编码器输出中引入随机性可显著提升主题连贯性。为度量所生成主题的多样性，我们提出了一种简单的主题唯一性指标。结合广泛使用的连贯性度量NPMI，我们提供了更全面的主题质量评估。在多个真实数据集上的实验表明，我们的模型生成的主题显著优于现有主题模型。
引用
@article{arxiv.1907.12374,
title = {Topic Modeling with Wasserstein Autoencoders},
author = {Feng Nan and Ran Ding and Ramesh Nallapati and Bing Xiang},
journal= {arXiv preprint arXiv:1907.12374},
year = {2019}
}
备注
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (pp. 6345-6381)