一种支持随机与全局方差缩减算法的双层优化框架

双层优化是指最小化一个涉及另一函数 arg-minimum 的值函数的问题，出现在机器学习的许多领域中。在样本数量巨大的大规模经验风险最小化设定下，开发随机方法至关重要，这类方法每次仅使用少量样本即可推进优化。然而，计算值函数的梯度需要求解一个线性系统，这使得难以推导出无偏随机估计。为克服该问题，我们引入了一种新颖的框架，其中内层问题的解、线性系统的解与主变量同时演化。这些方向被写为求和形式，从而可直接推导出无偏估计。我们方法的简洁性使我们能够开发全局方差缩减算法，其中所有变量的动力学均受方差缩减影响。我们证明了 SABA（我们框架中对著名 SAGA 算法的改编）具有 $O(\frac1T)$ 收敛速率，并且在 Polyak-Lojasciewicz 假设下实现线性收敛。这是首个验证上述任一性质的双层优化随机算法。数值实验验证了我们所提方法的有效性。