基于循环一致对抗训练的神经网络主题建模
计算与语言
2020-09-30 v1
摘要
深度生成模型的进展引起了人们对神经网络主题建模的显著研究兴趣。近期提出的对抗神经主题模型（Adversarial-neural Topic Model）利用对抗训练的生成器网络建模主题，并采用 Dirichlet 先验捕捉潜主题中的语义模式。该方法能有效发现连贯主题，但无法推断给定文档的主题分布，也不能利用可用的文档标签。为克服这些局限，我们提出了具有循环一致对抗训练的主题建模（ToMCAT）及其有监督版本 sToMCAT。ToMCAT 采用生成器网络解释主题，采用编码器网络推断文档主题。对抗训练与循环一致约束用于促使生成器与编码器产生彼此协调的真实样本。sToMCAT 通过将文档标签纳入主题建模过程来扩展 ToMCAT，以帮助发现更连贯的主题。所提模型的有效性在无监督/有监督主题建模与文本分类上进行了评估。实验结果表明，我们的模型能生成连贯且信息丰富的主题，优于多个有竞争力的基线。
引用
@article{arxiv.2009.13971,
title = {Neural Topic Modeling with Cycle-Consistent Adversarial Training},
author = {Xuemeng Hu and Rui Wang and Deyu Zhou and Yuxuan Xiong},
journal= {arXiv preprint arXiv:2009.13971},
year = {2020}
}
备注
Accepted by EMNLP 2020