神经注意力感知层次主题模型
计算与语言
2021-10-15 v1 机器学习
摘要
神经主题模型（NTM）将深度神经网络应用于主题建模。尽管取得成功，NTM通常忽略两方面重要问题：（1）训练仅利用文档级词频信息，而更细粒度的句子级信息被忽略；（2）未利用关于文档、句子与词的外部语义知识进行训练。为解决这些问题，我们提出一种变分自编码器（VAE）NTM模型，该模型利用词袋（BoW）主题嵌入与预训练语义嵌入的组合联合重构句子与文档的词频。预训练嵌入首先被变换至公共潜在主题空间以使其语义与BoW嵌入对齐。我们的模型还具有层次KL散度，以利用各文档的嵌入正则化其句子的嵌入，从而更多关注语义相关句子。定量与定性实验均表明本模型在（1）降低句子与文档级重构误差，（2）从真实数据集中发现更具一致性的主题方面有效。
引用
@article{arxiv.2110.07161,
title = {Neural Attention-Aware Hierarchical Topic Model},
author = {Yuan Jin and He Zhao and Ming Liu and Lan Du and Wray Buntine},
journal= {arXiv preprint arXiv:2110.07161},
year = {2021}
}