不精确梯度方法的频域分析

Oran Gannot

不精确梯度方法的频域分析

最优化与控制 2021-05-11 v2 机器学习数值分析系统与控制系统与控制数值分析

作者: Oran Gannot

摘要

我们研究了一些基于梯度的迭代方法在强凸函数以及具有扇形有界梯度的更大函数类下的鲁棒性性质，采用相对误差模型。相应收敛速率的证明基于非线性系统稳定性的频域判据。给出了梯度下降与 Triple Momentum Method 的不精确版本的的应用。为进一步强调频域方法的实用性，我们推导了 Nesterov 加速方法（在精确设定下）在强凸函数上收敛速率的改进解析界。

关键词

频域分析不精确梯度方法强凸扇形有界梯度收敛速率 Triple Momentum Method Nesterov 加速

引用

@article{arxiv.1912.13494,
  title  = {A frequency-domain analysis of inexact gradient methods},
  author = {Oran Gannot},
  journal= {arXiv preprint arXiv:1912.13494},
  year   = {2021}
}

备注

42 pages; corrections and additional applications to accelerated methods. To appear in Mathematical Programming

不精确梯度方法的频域分析

摘要

关键词

引用

备注

相关论文