具有 Polyak 步长与线搜索的自适应 SGD：鲁棒收敛与方差缩减

近年来提出的用于 SGD 的随机 Polyak 步长（SPS）与随机线搜索（SLS）在训练过参数化模型时表现出显著的有效性。然而，在非插值情形下，这两种算法仅能保证收敛到解的邻域，这可能导致输出比初始猜测更差。虽然已有研究提出人为减小自适应步长以解决此问题（Orvieto 等人 [2022]），但该方法会使凸和过参数化模型的收敛速率变慢。本文做出两点贡献：首先，我们提出 SPS 和 SLS 的两种新变体，称为 AdaSPS 和 AdaSLS，它们保证在非插值情形下收敛，并在训练过参数化模型时对凸和强凸函数保持次线性和线性收敛速率。AdaSLS 不需要知道问题相关参数，而 AdaSPS 仅需要最优函数值的下界作为输入。其次，我们为 AdaSPS 和 AdaSLS 配备了一种新颖的方差缩减技术，得到的算法对凸函数达到 $\mathcal{O}(\epsilon)$ 次优性仅需 $\smash{\widetilde{\mathcal{O}}}(n+1/\epsilon)$ 次梯度计算，这改善了非插值情形下无方差缩减的 AdaSPS 和 AdaSLS 较慢的 $\mathcal{O}(1/\epsilon^2)$ 速率。此外，我们的结果与 AdaSVRG 的快速速率相匹配，但去除了内外循环结构，更易于实现和分析。最后，在合成和真实数据集上的数值实验验证了我们的理论，并展示了算法的有效性与鲁棒性。