ALBU:一种用于LDA的近似Loopy Belief消息传递算法以改进小数据集上的性能
机器学习
2022-08-22 v2 计算与语言
信息检索
机器学习
摘要
应用于潜在狄利克雷分配(LDA)的变分贝叶斯(VB)已成为方面建模最流行的算法。虽然在大型语料库的文本主题提取中足够成功,VB在有限数据情况下识别方面的表现较差。我们提出一种应用于潜在狄利克雷分配(LDA)的新变分消息传递算法,并将其与黄金标准VB及折叠吉布斯采样进行比较。在边际化导致非共轭消息的情况下,我们利用采样的思想推导近似更新方程。在共轭成立的情况下,使用Loopy Belief更新(LBU)(亦称Lauritzen-Spiegelhalter)。我们的算法ALBU(近似LBU)与变分消息传递(VMP)(即VB的消息传递变体)高度相似。为比较算法在有限数据下的性能,我们使用由推文和新闻组组成的数据集。此外,为进行更细粒度的评估与比较,我们使用仿真,通过Kullback-Leibler散度(KLD)与真实值进行比较。利用文本语料库的连贯性度量以及仿真的KLD,我们表明ALBU比VB更准确地学习潜在分布,尤其在较小数据集上。
引用
@article{arxiv.2110.00635,
title = {ALBU: An approximate Loopy Belief message passing algorithm for LDA to improve performance on small data sets},
author = {Rebecca M. C. Taylor and Johan A. du Preez},
journal= {arXiv preprint arXiv:2110.00635},
year = {2022}
}
备注
Springer has accepted to publish the Proceedings of 2022 Computing Conference in the series "Lecture Notes in Networks and Systems"