一种可证明收敛的即插即用随机双层优化框架
最优化与控制
2025-05-05 v1 机器学习
摘要
双层优化因其广泛的应用和先进的分层优化能力，近期在机器学习领域引起了极大关注。在本文中，我们提出了一个名为 PnPBO 的即插即用框架，用于开发和分析随机双层优化方法。该框架将现代无偏和有偏随机估计器集成到文献 [9] 中引入的单循环双层优化框架中，并进行了若干改进。在 PnPBO 的实现中，不同变量的所有随机估计器可以独立地结合，并且当对上层变量使用无偏估计器时，会应用额外的移动平均技术。在理论分析中，我们为 PnPBO 提供了统一的收敛性和复杂度分析，证明了在 PnPBO 框架内采用各种随机估计器（包括 PAGE、ZeroSARAH 和混合策略）可以达到与单层优化相当的最优样本复杂度。这解决了求解双层优化的最优复杂度界限是否与单层优化相同这一悬而未决的问题。最后，我们通过实验验证了我们的框架，证明了其在几个基准问题上的有效性，并证实了我们的理论发现。
引用
@article{arxiv.2505.01258,
title = {A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization},
author = {Tianshu Chu and Dachuan Xu and Wei Yao and Chengming Yu and Jin Zhang},
journal= {arXiv preprint arXiv:2505.01258},
year = {2025}
}