论坐标上升变分推断的收敛性
机器学习
2023-06-05 v1 机器学习
统计理论
统计理论
摘要
作为马尔可夫链蒙特卡罗方法的算代替代，变分推断（VI）因其在大规模贝叶斯模型中近似难处理后验分布时相当的效果与更高的效率而日益流行。近期若干工作通过在多种设定下证明其参数估计的统计最优性为 VI 提供了理论依据；与此同时，对 VI 算法收敛性方面的形式化分析仍大为缺乏。在本文中，我们考虑常见的坐标上升变分推断（CAVI）算法，用于实现平均场（MF）VI，以在所有因子化分布空间上优化 Kullback--Leibler 散度目标泛函。聚焦于两块情形，我们利用泛函分析与优化中的丰富工具分析 CAVI 的收敛性。我们给出认证 CAVI 全局或局部指数收敛的一般条件。具体而言，引入了一种刻画构成块在影响 VI 目标泛函时相互作用的广义相关性新概念，依据该理论，它量化了两块 CAVI 的算法收缩率。作为示例，我们将所发展理论应用于若干例子，并推导出算法收缩率上依赖于问题的显式界。
引用
@article{arxiv.2306.01122,
title = {On the Convergence of Coordinate Ascent Variational Inference},
author = {Anirban Bhattacharya and Debdeep Pati and Yun Yang},
journal= {arXiv preprint arXiv:2306.01122},
year = {2023}
}