$\beta$-高分辨率 ODE 及 NAG-SC 与重球法之间的相变

Da Wu

$\beta$-高分辨率 ODE 及 NAG-SC 与重球法之间的相变

最优化与控制 2020-04-08 v1 经典分析与常微分方程

作者: Da Wu

摘要

在本文中，我们研究了一种算法的收敛性质，该算法可视为两种基于梯度的优化方法——Nesterov 强凸函数加速法 $(NAG$ - $SC)$ 与 Polyak 重球法——之间的插值。近期在利用高分辨率常微分方程（ODE）区分这两种根本不同的方法方面已取得进展。它们之间的关键差异可归因于梯度修正项，这反映在高分辨率 ODE 的 Hessian 项中。我们的目标是理解该项如何影响收敛速率以及步长的选择。为实现此目标，我们引入 $\beta$ -高分辨率 ODE 的概念， $0\leq \beta\leq 1$ ，并证明在一定的步长范围内，在 $\beta_c$ 处会发生相变。当 $\beta_c\leq\beta\leq 1$ 时，与 $\beta$ -高分辨率 ODE 关联的算法具有与 NAG-SC 相同的收敛速率。当 $0\leq \beta\leq \beta_c$ 时，该算法的收敛速率将慢于 NAG-SC。

关键词

梯度优化高分辨率常微分方程 NAG-SC 重球法相变收敛速率步长

引用

@article{arxiv.2004.03121,
  title  = {$\beta$-High Resolution ODE and Phase Transition between NAG-SC and Heavy Ball Method},
  author = {Da Wu},
  journal= {arXiv preprint arXiv:2004.03121},
  year   = {2020}
}

备注

18 pages. First Draft

$\beta$-高分辨率 ODE 及 NAG-SC 与重球法之间的相变

摘要

关键词

引用

备注

相关论文