黑盒变分贝叶斯推断的实用且匹配的梯度方差界
机器学习
2023-06-06 v4 最优化与控制
统计计算
机器学习
摘要
理解黑盒变分推断（BBVI）的梯度方差是确立其收敛性并开发算法改进的关键步骤。然而，现有研究尚未表明BBVI的梯度方差满足用于研究BBVI主力工具——随机梯度下降（SGD）收敛性的条件。在本工作中，我们证明了当应用于平滑且二次增长的对数似然时，BBVI满足与SGD文献中使用的条件相对应的匹配界。我们的结果可推广至BBVI实践中广泛使用的非线性协方差参数化。此外，我们证明了平均场参数化的方差在维度依赖性上具有可证明的优越性。
引用
@article{arxiv.2303.10472,
title = {Practical and Matching Gradient Variance Bounds for Black-Box Variational Bayesian Inference},
author = {Kyurae Kim and Kaiwen Wu and Jisu Oh and Jacob R. Gardner},
journal= {arXiv preprint arXiv:2303.10472},
year = {2023}
}
备注
Accepted to ICML'23 for live oral presentation