非凸无界方差下的下界与准锚SGD

通常对随机梯度下降（SGD）及其变体的分析依赖于均匀有界方差的假设，而该假设在实际非凸情境下（如神经网络训练）以及多个基本优化情境中常常失败。虽然文献中探索了几种松弛条件，但允许方差随距离呈二次增长的Blum-Gladyshev（BG-0）条件最近被证明是最弱的条件。然而，在BG-0条件下研究随机一阶非凸优化的oracle复杂度仍鲜有探索。本文填补了这一空白，建立信息论下界，证明在光滑函数情况下，求解$\epsilon$-stationary点需$\Omega(\epsilon^{-6})$个随机BG-0 oracle查询；在均方平滑情境下需$\Omega(\epsilon^{-4})$个查询。这些限制表明，从经典有界方差复杂度（即光滑情境下的$\Omega(\epsilon^{-4})$和均方平滑情境下的$\Omega(\epsilon^{-3})$）来看，是不可避免的退化。为匹配这些下界，我们考虑准锚随机逼近（PASTA），一种统一的算法框架，通过将Halpern锚定与Tikhonov正则化耦合，以动态缓解BG-0 oracle所允许的额外方差爆炸项。我们证明PASTA在诸多非凸情境中均实现了minimax最优复杂度，包括标准光滑、均方平滑、弱凸、星凸以及Polyak-Lojasiewicz函数，全部在无界域和无界随机梯度下均可实现。