一种用于随机变分推断的信任区域方法及其在流数据上的应用
机器学习
2015-05-29 v1 应用统计
摘要
随机变分推断允许在复杂的贝叶斯模型中进行快速后验推断。然而，该算法容易陷入局部最优，这可能导致后验近似质量对超参数的选择和初始化较为敏感。我们通过用信任区域更新替代随机变分推断中的自然梯度步来解决这一问题。我们证明这通常能带来更好的结果并降低对超参数的敏感性。我们还描述了一种针对流数据的变分推断新策略，并表明在此场景下我们的信任区域方法对于获得良好性能至关重要。
引用
@article{arxiv.1505.07649,
title = {A trust-region method for stochastic variational inference with applications to streaming data},
author = {Lucas Theis and Matthew D. Hoffman},
journal= {arXiv preprint arXiv:1505.07649},
year = {2015}
}
备注
in Proceedings of the 32nd International Conference on Machine Learning, 2015