基于双向对抗训练的神经网络主题建模
计算与语言
2020-04-28 v1 信息检索
机器学习
摘要
近年来，使用神经主题模型从文本中自动提取主题的兴趣激增，因为它们避免了如潜在狄利克雷分配(LDA)等传统主题模型中用于模型推断的复杂数学推导。然而，这些模型通常要么对潜在主题空间假设不恰当的先验（例如高斯或逻辑正态），要么无法推断给定文档的主题分布。为解决这些局限，我们提出了一种称为双向对抗主题(BAT)模型的神经主题建模方法，这是首次尝试将双向对抗训练应用于神经主题建模。所提出的 BAT 在文档-主题分布与文档-词分布之间建立双向投影。它使用生成器捕获文本中的语义模式，并使用编码器进行主题推断。此外，为融入词相关性信息，由 BAT 扩展出了带高斯分布的双向对抗主题模型（Gaussian-BAT）。为验证 BAT 与 Gaussian-BAT 的有效性，我们在实验中使用了三个基准语料库。实验结果表明，BAT 和 Gaussian-BAT 获得了更连贯的主题，优于若干竞争性基线。此外，当基于提取的主题进行文本聚类时，我们的模型优于所有基线，其中 Gaussian-BAT 取得了更显著的改进，准确率提升近 6%。
引用
@article{arxiv.2004.12331,
title = {Neural Topic Modeling with Bidirectional Adversarial Training},
author = {Rui Wang and Xuemeng Hu and Deyu Zhou and Yulan He and Yuxuan Xiong and Chenchen Ye and Haiyang Xu},
journal= {arXiv preprint arXiv:2004.12331},
year = {2020}
}
备注
To appear at ACL2020