具有随机 Polyak 步长的 SGD 动力学：真正自适应变体及到精确解的收敛
最优化与控制
2024-02-20 v5
摘要
近期，Loizou 等人（2021）提出并分析了采用随机 Polyak 步长（SPS）的随机梯度下降（SGD）。所提 SPS 具有强收敛保证与有竞争力的性能；然而，当用于非过参数化情形时，它有两个主要缺陷：（i）它需要最优小批量损失的事先知识，而在不满足插值条件时（例如正则化目标）这些知识不可用；（ii）它仅保证收敛到解的一个邻域。本工作中，我们研究了配备新变体随机 Polyak 步长的 SGD 的动力学与收敛性质，并对原 SPS 的两个缺陷给出了解决方案。我们首先表明，对原 SPS 的一个简单修改——使用下界代替最优函数值——可直接解决缺陷（i）。另一方面，解决缺陷（ii）更具挑战性，并使我们对该方法的行为获得有价值的见解。我们表明，若不满足插值，SPS 与随机梯度之间的相关性会引入偏置，这在极小点附近有效地扭曲了梯度信号的期望，导致不收敛——即便在训练中将步长缩小。为修复此问题，我们提出 DecSPS，一种 SPS 的新颖改进，其保证收敛到精确极小点——且无需问题参数的事先知识。对于强凸优化问题，DecSPS 是首个无需有界迭代/梯度等限制性假设即收敛到精确解的随机自适应优化方法。
引用
@article{arxiv.2205.04583,
title = {Dynamics of SGD with Stochastic Polyak Stepsizes: Truly Adaptive Variants and Convergence to Exact Solution},
author = {Antonio Orvieto and Simon Lacoste-Julien and Nicolas Loizou},
journal= {arXiv preprint arXiv:2205.04583},
year = {2024}
}
备注
Accepted at NeurIPS 2022 v4: tiny mistake in the main proof (result unchanged) is now fixed, v5: confusing typo fixed