基于随机信赖域优化的快速黑箱变分推断
机器学习
2017-11-07 v2 机器学习
摘要
我们提出 TrustVI，一种基于信赖域优化和重参数化技巧的黑箱变分推断快速二阶算法。在每次迭代中，TrustVI 基于从变分分布抽取的小批量样本来提出并评估一个步长。该算法可证明收敛到稳定点。我们在 Stan 框架中实现了 TrustVI，并将其与两种替代方案进行了比较：自动微分变分推断 (ADVI) 和无 Hessian 矩阵的随机梯度变分推断 (HFSGVI)。前者基于随机一阶优化，后者使用二阶信息但缺乏收敛保证。TrustVI 通常比 ADVI 收敛快至少一个数量级，证明了随机二阶信息的价值。TrustVI 经常找到比 HFSGVI 显著更好的变分分布，表明我们的收敛理论在实践中具有重要意义。
引用
@article{arxiv.1706.02375,
title = {Fast Black-box Variational Inference through Stochastic Trust-Region Optimization},
author = {Jeffrey Regier and Michael I. Jordan and Jon McAuliffe},
journal= {arXiv preprint arXiv:1706.02375},
year = {2017}
}
备注
NIPS 2017 camera-ready