用于潜在狄利克雷分配的随机坍缩变分贝叶斯推断
机器学习
2013-05-14 v1
摘要
在互联网时代，可用数字文本信息量呈爆炸式增长，导致传统主题模型推断算法面临规模难题。针对潜在狄利克雷分配（LDA）的随机变分推断算法的最新进展，使得在大规模语料库上学习主题模型成为可能，但这些方法目前尚未充分利用模型的坍缩表示。我们提出了一种用于 LDA 的坍缩变分贝叶斯推断随机算法，该算法比现有最先进方法更简单且更高效。我们展示了 LDA 的坍缩变分贝叶斯推断与最大后验（MAP）估计之间的联系，并利用这些联系证明了所提算法的收敛性质。在大规模文本语料库上的实验发现，该算法比先前方法收敛更快，且往往能得到更优的解。受试者实验也表明，该方法能在数秒内从小型语料库中学习出连贯的主题，从而促进了主题模型在交互式文档分析软件中的应用。
引用
@article{arxiv.1305.2452,
title = {Stochastic Collapsed Variational Bayesian Inference for Latent Dirichlet Allocation},
author = {James Foulds and Levi Boyles and Christopher Dubois and Padhraic Smyth and Max Welling},
journal= {arXiv preprint arXiv:1305.2452},
year = {2013}
}