通过高分辨率微分方程的辛离散化实现加速
最优化与控制
2019-11-05 v2 机器学习
数值分析
数值分析
机器学习
摘要
我们研究通过对 Nesterov 加速梯度法 (NAG) 和 Polyak 重球法对应的常微分方程 (ODE) 进行离散化而得到的一阶优化方法。我们考虑三种离散化格式：显式 Euler 格式、隐式 Euler 格式和辛格式。我们证明，将辛格式应用于 Shi 等 [2018] 提出的高分辨率 ODE 所生成的优化算法，在最小化光滑强凸函数时能够达到加速收敛速率。另一方面，当格式为隐式、ODE 为低分辨率或格式为显式时，所得算法要么无法实现加速，要么不切实际。
关键词
引用
@article{arxiv.1902.03694,
title = {Acceleration via Symplectic Discretization of High-Resolution Differential Equations},
author = {Bin Shi and Simon S. Du and Weijie J. Su and Michael I. Jordan},
journal= {arXiv preprint arXiv:1902.03694},
year = {2019}
}
备注
Published in Neurips 2019