中文

连续时间随机重球法在非凸优化中的全局收敛性

概率论 2019-10-21 v4

摘要

我们研究具有小步长的随机重球法(stochastic heavy-ball method)的收敛行为。在改变时间尺度下,我们用一个随机微分方程来近似该离散方法,该方程刻画了耦合非线性振子系统的微小随机扰动。我们严格证明了受扰系统在对数时间内收敛到局部极小点。这表明,对于近似随机重球法的扩散过程,其逃离所有鞍点所需的时间(至多相差一个对数因子)仅为步长平方根倒数的线性时间。这一结果可能暗示其离散时间对应方法具有快速收敛性。我们的理论结果通过数值实验得到了验证。

关键词

引用

@article{arxiv.1712.05733,
  title  = {On the Global Convergence of Continuous-Time Stochastic Heavy-Ball Method for Nonconvex Optimization},
  author = {Wenqing Hu and Chris Junchi Li and Xiang Zhou},
  journal= {arXiv preprint arXiv:1712.05733},
  year   = {2019}
}

备注

accepted at IEEE International Conference on Big Data in 2019