通过次鞅分析随机信赖域方法的收敛速率

我们提出了一个新颖的框架，用于分析具有自适应步长的随机优化算法的收敛速率。该框架基于分析底层通用随机过程的性质，特别是推导该过程的期望停止时间的界。我们利用此框架分析了传统信赖域方法的随机变体（引入于 \cite{ChenMenickellyScheinberg2014}）的期望全局收敛速率的界。传统的信赖域方法依赖于梯度、Hessian 矩阵和目标函数值的精确计算，而该方法假设这些值仅在动态调整的精度范围内可用。此外，假设这种精度仅以某个足够大但固定的概率成立，而对误差的方差没有任何额外限制。这种设置适用于标准的随机优化和机器学习公式等情况。改进了 \cite{ChenMenickellyScheinberg2014} 中的分析，我们证明了由该算法定义的随机过程满足我们提出的通用框架的假设，其中停止时间定义为达到精度 $\|\nabla f(x)\|\leq \epsilon$。在假设随机梯度足够准确的情况下，该停止时间的结果为 $O(\epsilon^{-2})$，这是随机信赖域方法的第一个全局复杂度界。最后，我们在一些额外假设下应用相同的框架推导了二阶复杂度界。