基于得分函数散度的黑箱变分推断：批量匹配
机器学习
2024-06-13 v2 人工智能
机器学习
统计计算
摘要
大多数领先的黑箱变分推断（BBVI）实现基于优化随机证据下界（ELBO）。但此类BBVI方法常因梯度估计的高方差和对超参数的敏感性而收敛缓慢。本文提出了batch和match（BaM），一种基于得分函数散度的BBVI替代方法。值得注意的是，这种得分函数散度可通过针对具有完全协方差矩阵的高斯变分族的闭式proximal更新进行优化。我们分析了当目标分布为高斯时BaM的收敛性，并证明在batch大小无限的极限下，变分参数更新对目标均值和协方差以指数级快速收敛。我们还评估了BaM在来自层次模型和深度生成模型后验推断的高斯和非高斯目标分布上的性能。在这些实验中，我们发现BaM通常需要更少（有时是显著更少）的梯度评估次数即可收敛，而领先的基于ELBO最大化的BBVI实现则表现更差。
引用
@article{arxiv.2402.14758,
title = {Batch and match: black-box variational inference with a score-based divergence},
author = {Diana Cai and Chirag Modi and Loucas Pillaud-Vivien and Charles C. Margossian and Robert M. Gower and David M. Blei and Lawrence K. Saul},
journal= {arXiv preprint arXiv:2402.14758},
year = {2024}
}
备注
49 pages, 14 figures. To appear in the Proceedings of the 41st International Conference on Machine Learning (ICML), 2024