随机重球法
统计理论
2016-10-24 v2 概率论
机器学习
统计理论
摘要
本文讨论一种源自所谓重球法微分方程的自然随机优化过程，该方程由 Polyak 在其 20 世纪 60 年代的开创性贡献 [Pol64] 中引入。重球法是一种二阶动力学方法，曾被研究用于最小化凸函数 f。二阶方法族最近受到了大量关注，直至 Nesterov 的著名贡献 [Nes83]，引发了大规模优化问题的爆炸式发展。本工作深入描述了随机重球法，它是确定性重球法的一种改编，适用于在算法迭代过程中只能获得梯度的无偏估计并使用这些估计的情况。我们首先描述了在一般非凸强制函数 f 情形下的一些几乎必然收敛结果。然后我们考察了凸和强凸势的情形，并推导了关于随机重球法的一些非渐近结果。我们以几个重标度算法的极限定理结束了我们的研究。
引用
@article{arxiv.1609.04228,
title = {Stochastic Heavy Ball},
author = {Sébastien Gadat and Fabien Panloup and Sofiane Saadane},
journal= {arXiv preprint arXiv:1609.04228},
year = {2016}
}
备注
39 pages, 3 pages