无下层强凸性的双层优化平均乘子法
最优化与控制
2023-07-03 v2 机器学习
摘要
梯度方法已成为学习领域中双层优化(BLO)的主流技术。现有工作的有效性严重依赖于限制性的下层强凸性(LLSC)条件，或依赖于高精度求解一系列近似子问题，或两者兼有。本文通过对上下层目标进行平均，提出了一种用于BLO的单循环双层平均乘子法(sl-BAMM)，该方法简单且对大规模BLO高效，并摆脱了有限的LLSC限制。我们进一步给出了sl-BAMM收敛至KKT驻点的非渐近收敛分析，我们分析的比较优势在于无需强梯度有界性假设，而该假设总是被其他工作所要求。因此我们的理论安全地涵盖了深度学习中更多样的应用，尤其是上层目标关于下层变量为二次的情形。实验结果证明了我们方法的优越性。
引用
@article{arxiv.2302.03407,
title = {Averaged Method of Multipliers for Bi-Level Optimization without Lower-Level Strong Convexity},
author = {Risheng Liu and Yaohua Liu and Wei Yao and Shangzhi Zeng and Jin Zhang},
journal= {arXiv preprint arXiv:2302.03407},
year = {2023}
}
备注
To be published in ICML 2023