具有确定性目标的黑盒变分推断：更快、更准、更黑盒
机器学习
2024-04-18 v4 统计方法学
机器学习
摘要
自动微分变分推断（ADVI）在多种现代概率编程语言中提供了快速且易用的后验近似。然而，其随机优化器缺乏明确的收敛准则且需要调参。此外，ADVI 继承了平均场变分贝叶斯（MFVB）较差的后验不确定性估计。我们引入“确定性 ADVI”（DADVI）以解决这些问题。DADVI 用一个固定的蒙特卡洛近似替代难以处理的 MFVB 目标，该技术在随机优化文献中称为“样本平均近似”（SAA）。通过优化一个近似但确定的目标，DADVI 可使用现成的二阶优化，并且不同于标准平均场 ADVI，可通过线性响应（LR）得到更精确的后验协方差。与现有最坏情况理论相反，我们表明，在某些类别的常见统计问题上，DADVI 与 SAA 即使在非常高维下也能以相对较少的样本表现良好，尽管我们也表明此类有利结果无法扩展到相对于平均场 ADVI 过于具表达力的变分近似。我们在多种真实世界问题上表明，DADVI 能以默认设置可靠地找到良好解（不同于 ADVI），并且结合 LR 协方差，通常比标准 ADVI 更快且更准。
引用
@article{arxiv.2304.05527,
title = {Black Box Variational Inference with a Deterministic Objective: Faster, More Accurate, and Even More Black Box},
author = {Ryan Giordano and Martin Ingram and Tamara Broderick},
journal= {arXiv preprint arXiv:2304.05527},
year = {2024}
}