判别型贝叶斯滤波为随机牛顿法最小化对数凸函数提供动量
机器学习
2023-08-22 v3 机器学习
最优化与控制
摘要
为最小化一组对数凸函数的平均值，随机牛顿法使用全目标函数的梯度和 Hessian 的下采样版本迭代更新其估计。我们将该优化问题构建为具有判别指定观测过程的潜状态空间模型上的序贯贝叶斯推断。应用贝叶斯滤波由此产生一种新颖的优化算法，其在形成更新时考虑梯度和 Hessian 的整个历史。我们建立了基于矩阵的条件，在此条件下旧观测的影响随时间减弱，其方式类似于 Polyak 的重球动量。我们通过一个示例说明了我们方法的各个方面，并回顾了随机牛顿法的其他相关创新。
引用
@article{arxiv.2104.12949,
title = {Discriminative Bayesian filtering lends momentum to the stochastic Newton method for minimizing log-convex functions},
author = {Michael C. Burkhart},
journal= {arXiv preprint arXiv:2104.12949},
year = {2023}
}