用于主题建模的残差置信传播
机器学习
2013-06-14 v1 信息检索
摘要
快速收敛速度是训练潜在狄利克雷分配(LDA)的一个理想特性，特别是在大规模数据集的在线和并行主题建模中。本文提出了一种新颖的残差置信传播(RBP)算法，以加速LDA训练的收敛速度。所提出的RBP采用了一种异步消息传递的知情调度方案，该方案在每次学习迭代中优先传递快速收敛的消息，以影响那些慢速收敛的消息。广泛的经验研究证实，RBP显著减少了达到收敛所需的训练时间，同时实现了比其它最先进的LDA训练算法（包括变分贝叶斯(VB)、折叠吉布斯采样(GS)、环状置信传播(BP)和残差VB(RVB)）更低的预测困惑度。
引用
@article{arxiv.1204.6610,
title = {Residual Belief Propagation for Topic Modeling},
author = {Jia Zeng and Xiao-Qin Cao and Zhi-Qiang Liu},
journal= {arXiv preprint arXiv:1204.6610},
year = {2013}
}
备注
6 pages, 8 figures