约束双层优化：近端拉格朗日值函数方法与无海森矩阵算法
机器学习
2024-01-30 v1 最优化与控制
摘要
本文提出了一种求解一类约束双层优化（BLO）问题的新方法和算法，其中下层问题涉及耦合上层和下层变量的约束。由于这类问题在机器学习中的广泛应用，它们近来受到了极大关注。然而，传统的基于梯度的方法不可避免地依赖于与海森矩阵相关的计算密集型运算。为应对这一挑战，我们首先设计了一个光滑的近端拉格朗日值函数来处理受约束的下层问题。利用这一构造，我们为约束BLO引入了一种单层重构，将原始BLO问题转化为一个具有光滑约束的等价优化问题。基于此重构，我们开发了一种无海森矩阵的基于梯度的算法——称为基于近端拉格朗日值函数的无海森双层算法（LV-HBA）——该算法易于以单循环方式实现。因此，LV-HBA特别适用于机器学习应用。此外，我们为LV-HBA提供了非渐近收敛性分析，无需对下层问题进行传统的强凸性假设，同时也能适应非单点情形。实证结果证实了该算法优越的实际性能。
引用
@article{arxiv.2401.16164,
title = {Constrained Bi-Level Optimization: Proximal Lagrangian Value function Approach and Hessian-free Algorithm},
author = {Wei Yao and Chengming Yu and Shangzhi Zeng and Jin Zhang},
journal= {arXiv preprint arXiv:2401.16164},
year = {2024}
}