等式约束双层优化的交替隐式投影 SGD 及其高效变体

随机双层优化捕捉了机器学习问题固有的嵌套结构，在近期许多应用中日益流行。现有双层优化工作大多考虑无约束问题或带约束的上层问题。本文考虑上层和下层均带等式约束的随机双层优化问题。通过利用等式约束问题的特殊结构，本文首先提出一种交替隐式投影 SGD 方法，并建立了 $\tilde{\cal O}(\epsilon^{-2})$ 的样本复杂度，与无约束双层问题的最先进复杂度 ALSET \citep{chen2021closing} 相当。为进一步节省投影开销，本文提出两种交替隐式投影高效 SGD 方法，其中一种算法享有 $\tilde{\cal O}(\epsilon^{-2}/T)$ 上层和 $\tilde{\cal O}(\epsilon^{-1.5}/T^{\frac{3}{4}})$ 下层投影复杂度（具有 ${\cal O}(T)$ 下层批大小），另一种享有 $\tilde{\cal O}(\epsilon^{-1.5})$ 上层和下层投影复杂度（具有 ${\cal O}(1)$ 批大小）。本文给出了在联邦双层优化上的应用以展示算法的实证性能。我们的结果表明，具有强凸下层问题的等式约束双层优化可求解得与随机单层优化问题一样高效。