关于平均场变分推断的表示
机器学习
2022-10-21 v1 人工智能
机器学习
摘要
平均场变分推断（MFVI）公式将一般贝叶斯推断问题限制在产品测度的子空间中。我们提出一个受类似一般变分贝叶斯公式发展启发的框架来分析 MFVI 算法。我们的方法使 MFVI 问题能够以三种不同方式表示：Wasserstein 空间上的梯度流、类 Fokker-Planck 方程系统和扩散过程。我们建立了严格的保证，表明在产品测度 Wasserstein 空间中对坐标上升变分推断算法的时间离散化实现在极限下产生梯度流。对其相关密度也得到了类似结果，其极限由拟线性偏微分方程给出。一类流行的实用算法属于该框架，这为建立收敛性提供了工具。我们希望该框架可用于保证各种新旧方法求解变分推断问题的算法收敛性。
引用
@article{arxiv.2210.11385,
title = {On Representations of Mean-Field Variational Inference},
author = {Soumyadip Ghosh and Yingdong Lu and Tomasz Nowicki and Edith Zhang},
journal= {arXiv preprint arXiv:2210.11385},
year = {2022}
}