动态线性主题模型的贝叶斯分析
机器学习
2015-11-13 v1 机器学习
统计方法学
摘要
在动态主题建模中，某一主题对文档的比例贡献取决于该主题在语料库中总体流行度的时变动态。我们通过显式地以协变量和包含多项式趋势与周期性的动态结构对文档级主题比例进行建模，扩展了Blei和Lafferty (2006)的动态主题模型。开发了一种利用Polya-Gamma数据增广的马尔可夫链蒙特卡洛（MCMC）算法用于后验推断。模型与采样中的条件独立性被明确给出，并且我们的MCMC算法在可能处并行化以允许在大型语料库上进行推断。为解决与Polya-Gamma采样相关的计算瓶颈，我们诉诸中心极限定理，发展了对Polya-Gamma随机变量的高斯近似。该近似在文本挖掘领域的相关参数值下快速且可靠。我们的模型与推断算法通过多个仿真示例得到验证，并且我们考虑了在PubMed摘要中建模趋势的应用。我们证明了跨文档共享信息对于准确估计文档特定主题比例至关重要。我们还展示了显式建模多项式与周期行为提升了我们在未来时间点预测主题流行度的能力。
引用
@article{arxiv.1511.03947,
title = {Bayesian Analysis of Dynamic Linear Topic Models},
author = {Chris Glynn and Surya T. Tokdar and David L. Banks and Brian Howard},
journal= {arXiv preprint arXiv:1511.03947},
year = {2015}
}