基于动量的梯度方法求解非凸下层双层次优化问题

双层次优化是一种流行的两级层次化优化方法，已广泛应用于超参数学习、元学习和持续学习等许多机器学习任务中。尽管近年来已提出许多双层次优化方法，但当下层问题非凸时，双层次方法尚未得到充分研究。为填补这一空白，本文研究一类非凸双层次优化问题，其中上层与下层问题均非凸，且下层问题满足 Polyak-Łojasiewicz (PL) 条件。我们提出一种高效的基于动量的梯度双层次方法 (MGBiO) 来求解这些确定性问题。同时，我们提出一类高效的基于动量的随机梯度双层次方法 (MSGBiO 与 VR-MSGBiO) 来求解这些随机问题。此外，我们为所提方法提供了一个有用的收敛分析框架。具体而言，在一些温和条件下，我们证明所提 MGBiO 方法在寻找确定性双层次问题的 ε-平稳解（即 ‖∇F(x)‖≤ε）时具有 O(ε^{-2}) 的样本（或梯度）复杂度，较现有最优结果改进了 O(ε^{-1}) 的因子。同时，我们证明所提 MSGBiO 与 VR-MSGBiO 方法在寻找随机双层次问题的 ε-平稳解（即 E‖∇F(x)‖≤ε）时样本复杂度分别为 \tilde{O}(ε^{-4}) 与 \tilde{O}(ε^{-3})，较现有最优结果改进了 \tilde{O}(ε^{-3}) 的因子。在双层次 PL 博弈与超表征学习上的大量实验结果证明了我们算法的效率。本文纪念数学家 Boris Polyak (1935–2023)。