基于主题嵌入的高效相关主题建模
机器学习
2017-07-04 v1 计算与语言
机器学习
摘要
相关主题建模由于其高计算成本和较差的可扩展性，一直局限于较小的模型和问题规模。在本文中，我们提出一种新模型，该模型学习紧凑的主题嵌入，并通过主题向量之间的接近程度来捕获主题相关性。我们的方法能够在低维嵌入空间中进行高效推断，将先前三次或二次的时间复杂度降低到关于主题大小的线性复杂度。我们进一步利用快速采样器加速变分推断，以利用主题出现的稀疏性。大量实验表明，我们的方法能够处理比现有相关性结果大几个数量级的模型和数据规模，同时通过在文档分类和检索中提供有竞争力或更优的性能而不牺牲建模质量。
引用
@article{arxiv.1707.00206,
title = {Efficient Correlated Topic Modeling with Topic Embedding},
author = {Junxian He and Zhiting Hu and Taylor Berg-Kirkpatrick and Ying Huang and Eric P. Xing},
journal= {arXiv preprint arXiv:1707.00206},
year = {2017}
}
备注
KDD 2017 oral. The first two authors contributed equally