均值场变分推断的稳定性分析
概率论
2025-06-10 v1 泛函分析
统计理论
机器学习
统计理论
摘要
均值场变分推断(MFVI)是一种广泛用于逼近高维概率分布的方法,通过产品测度实现。本文研究了当目标分布位于强对数凹测度类中时,均值场近似的稳定性。我们在2- Wasserstein距离度量下,建立了MFVI优化器相对于目标分布的维数无关Lipschitz连续性,其Lipschitz常数与对数凹性参数成反比。此外,在额外的正则性条件下,我们进一步证明了MFVI优化器对目标势的导数存在性,并通过偏微分方程刻画其导数。方法论层面,本文采用一种新颖的均值场变分推断路径:将非凸的MFVI问题提升到以固定基准测度为基础的传输图上的凸优化问题,从而能够运用变分法和函数分析方法。我们讨论了若干应用,包括面向鲁棒贝叶斯推断和经验贝叶斯推断的结果,其中包含MFVI的量化Bernstein- von Mises定理,以及面向分布式随机控制的应用。
关键词
引用
@article{arxiv.2506.07856,
title = {Stability of Mean-Field Variational Inference},
author = {Shunan Sheng and Bohan Wu and Alberto González-Sanz and Marcel Nutz},
journal= {arXiv preprint arXiv:2506.07856},
year = {2025}
}
备注
43 pages