广义光滑非凸优化中具有仿射噪声方差的RMSProp和Adam的收敛保证

本文首次在坐标广义光滑和仿射噪声方差的最宽松假设下，给出了非凸优化中RMSProp和Adam的紧收敛分析。我们首先分析RMSProp，它是Adam的一种特例，具有自适应学习率但没有一阶动量。具体地，为了解决自适应更新、无界梯度估计和Lipschitz常数之间的依赖关系带来的挑战，我们证明了下降引理中的一阶项收敛，并且其分母被梯度范数的函数上界所界定。基于这一结果，我们表明具有适当超参数的RMSProp以$\mathcal O(\epsilon^{-4})$的迭代复杂度收敛到$\epsilon$-驻点。然后我们将分析推广到Adam，其中额外的挑战来自梯度和一阶动量之间的不匹配。我们为下降引理中的一阶项开发了一个新的上界，该上界也是梯度范数的函数。我们表明具有适当超参数的Adam以$\mathcal O(\epsilon^{-4})$的迭代复杂度收敛到$\epsilon$-驻点。我们对RMSProp和Adam的复杂度结果与\cite{arjevani2023lower}中建立的复杂度下界相匹配。