基于值函数的双层优化序贯最小化方法

基于梯度的双层优化（BLO）方法已被广泛应用于处理现代学习任务。然而，现有大多数策略在理论上基于限制性假设（例如下层子问题的凸性）设计，且在计算上不适用于高维任务。此外，几乎不存在能够解决诸如带函数约束的 BLO 与悲观 BLO 等困难场景的基于梯度的方法。在本工作中，通过将 BLO 重新表述为近似单层问题，我们提出了一种名为基于双层值函数的序贯最小化（BVFSM）的新算法，以解决上述问题。具体而言，BVFSM 构造了一系列基于值函数的近似，从而避免了现有方法所需的重复计算循环梯度与 Hessian 逆，后者在高维任务中尤其耗时。我们还将 BVFSM 扩展至处理带额外函数约束的 BLO。更重要的是，BVFSM 可用于解决具有挑战性的悲观 BLO，而此前从未有方法妥善求解该问题。在理论上，我们证明了 BVFSM 在这几类 BLO 上的渐近收敛性，且摒弃了限制性的下层凸性假设。据我们所知，这是首个能够求解不同类型 BLO（例如乐观、悲观及带约束的 BLO）并具有可靠收敛保证的基于梯度的算法。大量实验验证了理论分析，并展示了我们在多种真实世界应用上的优越性。