加速的几何结构及其在快速减小梯度中的作用
最优化与控制
2021-11-05 v3
摘要
自 Nesterov 1983 年的开创性工作以来，已提出许多加速一阶优化方法，但其分析缺乏共同的统一结构。本文中，我们识别出广泛一类一阶加速方法所满足的一种几何结构。利用该几何洞察，我们给出加速方法的若干新推广。其中最有趣的是一种在邻近梯度设置下以 速率降低平方梯度范数的方法，快于 Nesterov 的 FGM 或 Kim 与 Fessler 的 FPGM-m 的 速率。
引用
@article{arxiv.2106.10439,
title = {A Geometric Structure of Acceleration and Its Role in Making Gradients Small Fast},
author = {Jongmin Lee and Chanwoo Park and Ernest K. Ryu},
journal= {arXiv preprint arXiv:2106.10439},
year = {2021}
}