带时间依赖镜像的广义镜像下降的线性收敛
机器学习
2021-10-07 v2 机器学习
摘要
Polyak-Lojasiewicz（PL）不等式是建立梯度下降线性收敛性的充分条件，即使在非凸设定下也是如此。尽管近期若干工作使用基于 PL 的分析来确立随机梯度下降方法的线性收敛，但类似的分析是否可对更一般的优化方法进行仍属未知。在本工作中，我们给出广义镜像下降（GMD）——一种带有可能是时间依赖镜像的镜像下降的推广——的线性收敛的基于 PL 的分析。GMD 包含了流行的首阶优化方法，包括梯度下降、镜像下降和预条件梯度下降方法如 Adagrad。由于标准 PL 分析不能自然地从 GMD 推广到随机 GMD，我们提出一种基于泰勒级数的分析来确立随机 GMD 线性收敛的充分条件。作为推论，我们的结果确立了随机镜像下降和 Adagrad 线性收敛的充分条件并给出了学习率。最后，对于局部 PL* 的函数，我们的分析意味着存在一个插值解且 GMD 收敛到该解。
引用
@article{arxiv.2009.08574,
title = {Linear Convergence of Generalized Mirror Descent with Time-Dependent Mirrors},
author = {Adityanarayanan Radhakrishnan and Mikhail Belkin and Caroline Uhler},
journal= {arXiv preprint arXiv:2009.08574},
year = {2021}
}