隐狄利克雷分配（LDA）的变分消息传递（VMP）推导
机器学习
2022-08-26 v2 机器学习
摘要
隐狄利克雷分配（LDA）是一种概率模型，用于发现文档语料库中的潜在主题。其推断通常使用变分贝叶斯（VB）算法进行，该算法计算参数后验分布的下界。为新模型推导变分更新方程需要大量的手动工作；变分消息传递（VMP）已成为一种加速变分推断过程的“黑箱”工具。但在实践中应用VMP仍然存在微妙的挑战，现有文献并未包含为标准平滑LDA模型实现VMP所必需的步骤，可用的黑箱概率图模型软件也无法执行实现LDA所必需的词-主题更新。因此，在本文中，我们详细推导了LDA的VMP更新方程。我们将此视为使其他研究人员能够为类似图模型计算VMP更新的第一步。
引用
@article{arxiv.2111.01480,
title = {A derivation of variational message passing (VMP) for latent Dirichlet allocation (LDA)},
author = {Rebecca M. C. Taylor and Dirko Coetsee and Johan A. du Preez},
journal= {arXiv preprint arXiv:2111.01480},
year = {2022}
}
备注
24 pages,not yet submitted anywhere