用于主题模型并行推断的稀疏部分折叠MCMC
机器学习
2017-08-16 v3 统计方法学
摘要
主题模型，更具体地说是潜狄利克雷分配（Latent Dirichlet Allocation, LDA）类，被广泛用于文本的概率建模。从后验分布进行MCMC采样通常使用折叠吉布斯采样器。我们提出一种并行稀疏部分折叠吉布斯采样器，并将其在五个不同大小和属性的知名文本语料库上的速度和效率与最先进的主题模型采样器进行比较。特别地，我们提出并比较了两种用于对带有潜主题指示器的参数块进行采样的不同策略。实验表明，仅部分折叠带来的统计效率下降小于通常假设，并且可以在较大语料库上通过并行化和稀疏性带来的加速得到更多补偿。我们还证明了部分折叠采样器随语料库大小具有良好的可扩展性。所提算法快速、高效、精确，且可比普通折叠采样器用于更多的建模情形。
引用
@article{arxiv.1506.03784,
title = {Sparse Partially Collapsed MCMC for Parallel Inference in Topic Models},
author = {Måns Magnusson and Leif Jonsson and Mattias Villani and David Broman},
journal= {arXiv preprint arXiv:1506.03784},
year = {2017}
}
备注
Accepted for publication in Journal of Computational and Graphical Statistics