变分推断中的 SGD：通过预条件化和动态批量处理解决不可控方差问题
机器学习
2026-05-11 v1 最优化与控制
摘要
黑箱变分推断（BBVI）通常依赖于随机梯度下降（SGD）来优化证据下界（ELBO）。然而，BBVI 中的随机梯度本质上具有不可控的方差，违反了标准假设，反而满足较弱的 Blum-Gladyshev（BG）条件，即方差随着与最优解的距离呈二次增长。在本文中，我们在 stochastic optimization 理论与 BBVI 实际实例之间搭建了桥梁。我们聚焦于参数化分布的广泛椭圆位置尺度家族，提出了两个主要贡献。首先，我们证明了 ELBO 解的存在，这是一种通常在文献中先行假设的基础属性。其次，我们在 BG 条件下建立了针对带有动态批量和预条件化的 Minibatch 投影 SGD（PSGD）的全面的收敛保证，涵盖有限时间和渐近两个 regime。我们的理论框架表明，动态批量结合预条件化系统性地即使在复杂设置下也能提供严格的保证。我们以数值结果说明了我们的理论发现，突出了该方法对于现代推断任务的有效性。
引用
@article{arxiv.2605.07531,
title = {SGD for Variational Inference: Tackling Unbounded Variance via Preconditioning and Dynamic Batching},
author = {Hippolyte Labarrière and Cesare Molinari and Silvia Villa and Lorenzo Rosasco},
journal= {arXiv preprint arXiv:2605.07531},
year = {2026}
}