SimLDA：一种主题模型评估工具
机器学习
2022-08-22 v1 计算与语言
信息检索
机器学习
摘要
应用于潜在狄利克雷分配（LDA）的变分贝叶斯（VB）已成为最流行的方面建模算法。尽管在从大型语料库中提取文本主题方面足够成功，VB 在有限数据情况下识别方面则不太成功。我们提出一种应用于潜在狄利克雷分配（LDA）的新变分消息传递算法，并将其与黄金标准 VB 和折叠 Gibbs 采样进行比较。在边际化导致非共轭消息的情况下，我们利用采样的思想推导近似更新方程。在共轭成立的情况下，使用 Loopy Belief 更新（LBU）（也称为 Lauritzen-Spiegelhalter）。我们的算法 ALBU（近似 LBU）与变分消息传递（VMP）（即 VB 的消息传递变体）有很强的相似性。为了在有限数据情况下比较算法性能，我们使用由推文和新闻组组成的数据集。利用一致性度量，我们表明 ALBU 比 VB 更准确地学习潜在分布，尤其是对于较小的数据集。
引用
@article{arxiv.2208.09299,
title = {SimLDA: A tool for topic model evaluation},
author = {Rebecca M. C. Taylor and Johan A. du Preez},
journal= {arXiv preprint arXiv:2208.09299},
year = {2022}
}
备注
Conference Proceedings