面向黑盒变分推断的样本平均近似方法
机器学习
2023-05-18 v2 最优化与控制
机器学习
摘要
我们提出一种用于黑盒变分推断（VI）的新方法，其规避了随机梯度上升的困难，包括步长选择问题。我们的方法使用一系列样本平均近似（SAA）问题。SAA 通过将随机优化问题转化为确定性问题来近似其解。我们使用拟牛顿法与线搜索求解每个确定性优化问题，并提出一种启发式策略以实现超参数选择的自动化。实验表明，我们的方法简化了 VI 问题，并取得了快于现有方法的性能。
引用
@article{arxiv.2304.06803,
title = {Sample Average Approximation for Black-Box VI},
author = {Javier Burroni and Justin Domke and Daniel Sheldon},
journal= {arXiv preprint arXiv:2304.06803},
year = {2023}
}