用于可扩展贝叶斯推断的反应式消息传递
机器学习
2021-12-28 v1 人工智能
摘要
我们引入反应式消息传递（Reactive Message Passing, RMP）作为一种框架，用于在概率模型的因子图表示中执行无调度、鲁棒且可扩展的基于消息传递的推断。RMP基于反应式编程风格，仅描述因子图中的节点如何对相连节点的变化作出反应。无固定消息传递调度的缺失提升了推断过程的鲁棒性、可扩展性与执行时间。我们还提出了ReactiveMP.jl，这是一个通过最小化约束Bethe自由能来实现RMP的Julia包。通过对变分后验分布的局部形式与分解约束进行用户自定义指定，ReactiveMP.jl可执行混合消息传递算法，包括置信传播、变分消息传递、期望传播与期望最大化更新规则。实验结果表明，在一系列概率模型上，基于RMP的ReactiveMP相较于其他Julia贝叶斯推断包具有更优性能。特别地，我们展示了RMP框架能够在标准笔记本电脑上对具有数十万个随机变量的大规模概率状态空间模型执行贝叶斯推断。
引用
@article{arxiv.2112.13251,
title = {Reactive Message Passing for Scalable Bayesian Inference},
author = {Dmitry Bagaev and Bert de Vries},
journal= {arXiv preprint arXiv:2112.13251},
year = {2021}
}
备注
preprint, submitted, 27 pages, 15 figures, 7 tables, 11 listings