用于稳定高斯混合黑盒变分推断的自适应指数积分
机器学习
2026-05-29 v3
摘要
采用高斯混合族的 Black-box variational inference (BBVI) 为近似复杂的后验分布提供了一种灵活的方法，无需目标密度的梯度。然而，标准的数值优化方法常常面临不稳定和低效的问题。我们开发了一个稳定且高效的框架，结合了三个关键组件：(1) 通过自然梯度公式实现的仿射不变预处理，(2) 无条件保持协方差矩阵正定性的指数积分器，以及 (3) 确保稳定性并适应不同预热和收敛阶段的自适应时间步长。所提出的方法与流形优化和镜像下降具有天然的联系。对于高斯后验，我们证明了在无噪声环境下的指数收敛性以及在 Monte Carlo 估计下的几乎必然收敛性，严格论证了自适应时间步长的必要性。在多峰分布、Neal 的多尺度漏斗以及基于 PDE 的 Darcy 流贝叶斯逆问题上的数值实验证明了所提方法的有效性。
引用
@article{arxiv.2601.14855,
title = {Adaptive Exponential Integration for Stable Gaussian Mixture Black-Box Variational Inference},
author = {Baojun Che and Yifan Chen and Daniel Zhengyu Huang and Xinying Mao and Weijie Wang},
journal= {arXiv preprint arXiv:2601.14855},
year = {2026}
}
备注
41 pages, 10 figures