融合Dirichlet主题模型与词嵌入构建lda2vec
计算与语言
2016-05-09 v1
摘要
分布式稠密词向量已被证明能有效捕捉语言中的词元级语义和句法规律性，而主题模型可形成文档上可解释的表示。在这项工作中，我们描述了lda2vec，一个联合学习稠密词向量与Dirichlet分布的潜在文档级主题向量混合的模型。与连续的稠密文档表示不同，该公式通过非负单纯形约束产生稀疏、可解释的文档混合。我们的方法易于整合进现有的自动微分框架，并允许科学家使用无监督文档表示，同时学习词向量及其之间的线性关系。
引用
@article{arxiv.1605.02019,
title = {Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec},
author = {Christopher E Moody},
journal= {arXiv preprint arXiv:1605.02019},
year = {2016}
}
备注
Submitted to CoNLL 2016