具有最优复杂度的交替随机方差减少算法用于双层优化

本文研究了无约束的非凸-强凸双层优化问题。解决该问题的常用方法是交替更新上层和下层变量，采用（有偏）随机梯度或其变体，其中下层变量的更新方式为单步或多步。在此背景下，我们提出了两种交替随机方差减少算法，即 ALS-SPIDER 和 ALS-STORM，通过引入辅助变量来估计超梯度，以更新上层变量。ALS-SPIDER 采用 SPIDER 估计器进行变量更新，而 ALS-STORM 是一种修改版 ALS-SPIDER，旨在避免每迭代中使用大批量样本。理论上，这两种算法可在任意固定次数的下层变量更新下，找到双层问题的 $\epsilon$ - stationary 点，样本复杂度为 $O(\epsilon^{-1.5})$。迄今为止，我们是已知首个在进行多次下层变量更新时实现 $O(\epsilon^{-1.5})$ 最优复杂度的算法。通过数值实验说明了本文算法的有效性。