关于黑盒变分推断的收敛性
机器学习
2024-01-12 v4 信号处理
最优化与控制
统计计算
机器学习
摘要
我们给出了全黑盒变分推断（BBVI）（亦称蒙特卡洛变分推断）的首个收敛保证。尽管初步研究针对BBVI的简化版本（例如有界域、有界支撑、仅优化尺度等），我们的设定不需要任何此类算法修正。我们的结果适用于具有和不具有强对数凹性的对数光滑后验密度以及位置-尺度变分族。此外，我们的分析揭示，实践中常用的某些算法设计选择——特别是变分近似尺度的非线性参数化——会导致次优收敛速率。幸运的是，使用近端随机梯度下降运行BBVI可修复这些局限，从而实现已知最强的收敛速率保证。我们通过在大规模贝叶斯推断问题上将近端SGD与其他标准BBVI实现进行比较，评估了这一理论见解。
引用
@article{arxiv.2305.15349,
title = {On the Convergence of Black-Box Variational Inference},
author = {Kyurae Kim and Jisu Oh and Kaiwen Wu and Yi-An Ma and Jacob R. Gardner},
journal= {arXiv preprint arXiv:2305.15349},
year = {2024}
}
备注
Accepted to NeurIPS'23; previous title: "Black-Box Variational Inference Converges"