排序敏感与语义感知的主题建模
机器学习
2015-02-13 v1 计算与语言
信息检索
摘要
文本语料库的主题建模是一个重要且具挑战性的问题。在多数先前工作中，通常做“词袋”假设，忽略了词的顺序。该假设简化了计算，却不切实际地丢失了上下文中词的顺序信息与语义。本文提出高斯混合神经主题模型（GMNTM），将词的顺序与句子的语义含义均纳入主题建模。具体而言，我们将每个主题表示为多维向量的簇，并将语料库嵌入由高斯混合模型生成的向量集合中。每个词不仅受其主题影响，还受周围词的嵌入向量及上下文影响。高斯混合分量与文档、句子和词的主题可联合学习。大量实验表明，我们的模型能学到更好的主题及每个主题更准确的词分布。定量上，相较于最先进的主题建模方法，GMNTM 在困惑度、检索准确率和分类准确率方面取得显著更优的性能。
引用
@article{arxiv.1502.03630,
title = {Ordering-sensitive and Semantic-aware Topic Modeling},
author = {Min Yang and Tianyi Cui and Wenting Tu},
journal= {arXiv preprint arXiv:1502.03630},
year = {2015}
}
备注
To appear in proceedings of AAAI 2015