基于深度互信息估计的神经主题建模
计算与语言
2022-03-15 v1 人工智能
摘要
新兴的神经主题模型使主题建模在无监督文本挖掘中更易适应和扩展。然而，现有的神经主题模型难以在学到的主题表示中保留文档的代表性信息。本文提出一种结合深度互信息估计的神经主题模型，即基于深度互信息估计的神经主题建模（NTM-DMIE）。NTM-DMIE是一种用于主题学习的神经网络方法，它最大化输入文档与其潜在主题表示之间的互信息。为学习鲁棒的主题表示，我们引入判别器通过对抗学习来区分负例和正例。此外，我们使用全局和局部互信息以在主题表示中保留输入文档的丰富信息。我们在多个指标上评估NTM-DMIE，包括基于主题表示的文本聚类准确率、主题独特性和主题一致性。与现有方法相比，实验结果表明NTM-DMIE在四个数据集的所有指标上均表现更优。
引用
@article{arxiv.2203.06298,
title = {Neural Topic Modeling with Deep Mutual Information Estimation},
author = {Kang Xu and Xiaoqiu Lu and Yuan-fang Li and Tongtong Wu and Guilin Qi and Ning Ye and Dong Wang and Zheng Zhou},
journal= {arXiv preprint arXiv:2203.06298},
year = {2022}
}
备注
24 page, 10 Figures and 7 Tables