基于原始-对偶辅助罚函数的双层优化方法：用于耦合约束问题
最优化与控制
2024-08-27 v2 机器学习
机器学习
摘要
近年来，由于其在解决具有挑战性的机器学习问题方面的应用，双层优化的研究兴趣日益增长。最近几项工作集中于 developing 高效的基于梯度的算法，这些算法能够提供可证明保证的双层优化问题。然而，现有文献主要关注没有约束的双层问题，或仅包含不跨越上层和下层变量的简单约束的问题，这排除了一系列复杂应用的可能性。本文研究了这一具有挑战性但较少探索的场景，发展出一种（完全）的一阶算法，称为 BLOCC，用于解决具有耦合约束的双层优化问题。我们为所提出算法建立了严格的收敛理论，并在两个著名的实际应用中展示了其有效性——支持向量机（SVM）中的超参数选择以及使用西班牙塞维利亚市实验数据进行交通网络基础设施规划。
引用
@article{arxiv.2406.10148,
title = {A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints},
author = {Liuyuan Jiang and Quan Xiao and Victor M. Tenorio and Fernando Real-Rojas and Antonio G. Marques and Tianyi Chen},
journal= {arXiv preprint arXiv:2406.10148},
year = {2024}
}
备注
In this version, we have made the following updates: (1) Added a sensitivity analysis of the algorithm's hyperparameters (stepsize and penalty constant) in Appendix G. (2) Included a computational complexity analysis and comparison in Appendix H. (3) Explicitly stated the inner-loop stepsizes in Remarks 2 and 3