面向(强)凸单层至$K$层随机优化的随机递归动量算法的稳定性与泛化性

基于随机递归动量（STORM）的算法已被广泛开发用于解决单层至$K$层（$K \geq 3$）随机优化问题。具体来说，它们使用估计器来缓解有偏梯度问题并实现接近最优的收敛结果。然而，关于理解其泛化性能的工作相对较少，特别是在从单层到$K$层优化上下文的过渡中尤为明显。本文基于算法稳定性，对三种代表性的STORM算法：STORM、COVER和SVMR，在凸和强凸设定下用于单层、双层和$K$层随机优化的泛化性进行了全面分析。首先，我们定义了$K$层优化的稳定性并将其与泛化性联系起来。然后，我们详细介绍了三种主要STORM算法的稳定性结果。最后，我们通过平衡稳定性结果与优化误差推导了它们的超额风险界。我们的理论结果为完善STORM算法提供了有力证据：（1）每个估计器可能因其方差与估计目标之间的差异而降低稳定性。（2）每增加一个层级可能会增加泛化误差，这受到稳定性及其累积随机梯度与真实梯度之间方差的影响。（3）增加用于初始计算估计器的批量大小呈现出一个有利的权衡，从而增强了泛化性能。