基于值函数的非凸双层优化内点法

双层优化模型能够刻画广泛且具有实际意义的复杂学习任务。鉴于在求解双层规划中所见证的效率，基于梯度的方法在机器学习界日益流行。本文中，我们提出一种新的基于梯度的求解方案，即基于双层值函数的内点法（BVFIM）。遵循对数障碍内点法的主要思想，我们将下层问题的正则化值函数罚入上层目标。通过进一步求解一系列可微无约束近似问题，我们进而推导出一种序列规划方案。我们方案的数值优势在于：当应用梯度方法求解近似问题时，我们成功避免了计算任何昂贵的 Hessian-向量或 Jacobian-向量乘积。我们证明了收敛性，且不对上层或下层目标施加任何凸性假设。实验展示了所提 BVFIM 在非凸双层问题上的效率。