用于高维系统高效推断的高斯集合置信传播
机器学习
2025-02-12 v7 机器学习
摘要
高维模型的高效推断是机器学习中的一个核心挑战。我们引入了高斯集合置信传播（GEnBP）算法，该算法结合了集合卡尔曼滤波（EnKF）和高斯置信传播（GaBP）的优势来解决这一挑战。GEnBP 通过在图模型的边上传递低秩局部消息，将先验样本集合更新为后验样本，从而能够高效处理高维状态、参数以及复杂的、含噪的、黑盒生成过程。通过在图模型结构内利用局部消息传递，GEnBP 有效地管理了复杂的依赖结构，并且即使当集合大小远小于推断维度时仍保持计算高效——这是在时空建模、图像处理和物理模型反演中常见的场景。我们证明了 GEnBP 可应用于多种问题结构，包括数据同化、系统辨识和层次模型，并通过实验表明它在准确性和计算效率方面优于现有的置信传播方法。支持代码可在 https://github.com/danmackinlay/GEnBP 获取。
引用
@article{arxiv.2402.08193,
title = {Gaussian Ensemble Belief Propagation for Efficient Inference in High-Dimensional Systems},
author = {Dan MacKinlay and Russell Tsuchida and Dan Pagendam and Petra Kuhnert},
journal= {arXiv preprint arXiv:2402.08193},
year = {2025}
}
备注
Under conference submission