随机扫描坐标升降变分推断在对数凹性条件下的收敛速度
机器学习
2024-09-24 v2 最优化与控制
概率论
统计理论
统计计算
统计理论
摘要
坐标升降变分推断方案是一种流行的算法，用于计算感兴趣概率分布的均值场近似。我们分析了其随机扫描版本，在目标密度满足对数凹性假设下。我们的研究方法基于最近的工作，即 M. Arnese 和 D. Lacker 的论文《通过最优传输技术对数凹测度的坐标升降变分推断收敛性》[arXiv:2404.08792]，该论文研究了算法的确定性扫描版本，将其表述为最优传输空间中概率分布上的块坐标下降算法。我们获得了随机扫描版本的紧密收敛率，这表明要实现收敛所需的因子更新总数随目标分布的条件数和块数呈线性比例增长。相比之下，针对确定性扫描情况的现有界限在相同的数量级上呈二次比例增长，这类似于在欧几里得空间中对凸函数进行优化时发生的情况。
引用
@article{arxiv.2406.07292,
title = {Convergence rate of random scan Coordinate Ascent Variational Inference under log-concavity},
author = {Hugo Lavenant and Giacomo Zanella},
journal= {arXiv preprint arXiv:2406.07292},
year = {2024}
}