局部曲率下降：从标准梯度下降和Polyak梯度下降中挖掘更多曲率信息
最优化与控制
2024-05-28 v1
摘要
我们为凸优化中更强大、更自适应的步长研究做出了贡献，这些步长由局部曲率信息赋能。我们没有采用需要昂贵Hessian计算的完全二阶方法。相反，我们的关键观察是，对于某些问题（例如，当最小化绝对凸函数平方和时），某些局部曲率信息是现成可用的，并且可以用来获得令人惊讶的强大矩阵值步长和有意义的理论。特别地，我们开发了三种新方法——LCD1、LCD2和LCD3——其中缩写代表局部曲率下降。LCD1推广了固定步长的梯度下降，而LCD2推广了Polyak步长的梯度下降。我们的方法用局部曲率信息增强了这些经典的梯度下降基线，并且我们的理论在不使用曲率信息的特殊情况下恢复了已知的收敛速度。我们的最后一种方法LCD3是LCD2的变度量版本；这一特性导致了迭代的闭式表达式。我们的实证结果令人鼓舞，表明局部曲率下降优于梯度下降。
引用
@article{arxiv.2405.16574,
title = {Local Curvature Descent: Squeezing More Curvature out of Standard and Polyak Gradient Descent},
author = {Peter Richtárik and Simone Maria Giancola and Dymitr Lubczyk and Robin Yadav},
journal= {arXiv preprint arXiv:2405.16574},
year = {2024}
}
备注
53 pages, 9 figures, 3 algorithms