基于Bregman距离的变分推断几何收敛分析
机器学习
2025-10-20 v1 机器学习
摘要
变分推断（VI）通过优化证据下界（ELBO）提供了贝叶斯推断的可扩展框架，但由于目标函数在欧几里得空间中的非凸性与非光滑性，收敛分析仍具挑战。我们建立了一个用于分析 VI 收敛的新型理论框架，利用分布的指数族结构。我们将负 ELBO 表示为对数分配函数的 Bregman 散度，从而实现对优化景观的几何分析。我们显示，这种 Bregman 表示容许一种弱单调性质，该性质虽弱于凸性，却为严格的收敛分析提供了充分结构。通过沿参数空间中的射线导出目标函数上的界限，我们建立了由 Fisher 信息矩阵光谱特征支配的性质。在这个几何框架下，我们对带有常数步长和递减步长的梯度下降算法进行非渐近收敛率证明。
引用
@article{arxiv.2510.15548,
title = {Geometric Convergence Analysis of Variational Inference via Bregman Divergences},
author = {Sushil Bohara and Amedeo Roberto Esposito},
journal= {arXiv preprint arXiv:2510.15548},
year = {2025}
}
备注
14 pages, 4 figures