通过最优传输证明对数凹测度下坐标上升变分推断的收敛性
机器学习
2024-04-16 v1 机器学习
最优化与控制
概率论
统计理论
统计理论
摘要
平均场变分推断（VI）是在相对熵意义下寻找与给定高维概率测度ρ最接近的乘积（因子化）测度的问题。著名的坐标上升变分推断（CAVI）算法通过每次迭代优化一个坐标（因子）来近似该乘积测度，且该优化可显式进行。尽管该算法很流行，但CAVI的收敛性仍鲜为人知。在本文中，我们证明了CAVI对于对数凹密度ρ的收敛性。此外，如果log ρ具有Lipschitz梯度，我们找到了线性收敛速度；如果ρ还是强对数凹的，我们找到了指数收敛速度。我们的分析始于一个观察：平均场VI虽然在通常意义下是著名的非凸问题，但当ρ为对数凹时，它在最优传输意义下实际上是位移凸的。这使我们能够借鉴欧几里得空间中坐标下降算法的优化文献中的技术。
引用
@article{arxiv.2404.08792,
title = {Convergence of coordinate ascent variational inference for log-concave measures via optimal transport},
author = {Manuel Arnese and Daniel Lacker},
journal= {arXiv preprint arXiv:2404.08792},
year = {2024}
}