一阶双层极小极大优化的稳定性与泛化性研究
机器学习
2026-04-23 v1 人工智能
机器学习
摘要
我们考虑与双层极小极大优化近来已成为涵盖超参数优化和强化学习等一系列机器学习任务的统一框架。现有文献侧重于经验效率和收敛性保证，在理解这些算法泛化能力方面留下了关键的理论空白。为填补这一空白，我们首次对具有下层极小极大问题的一阶梯度型双层极小极大求解器进行了系统的泛化分析。具体而言，通过利用算法稳定性论证，我们为三种代表性算法推导了细粒度的泛化界，包括单时间尺度随机梯度下降-梯度上升，以及两种双时间尺度随机梯度下降-梯度上升的变体。我们的结果揭示了算法稳定性、泛化差距与实际设置之间的精确权衡。此外，广泛的实证评估在具有双层极小极大结构的现实优化任务上证实了我们的理论见解。
引用
@article{arxiv.2604.20115,
title = {On the Stability and Generalization of First-order Bilevel Minimax Optimization},
author = {Xuelin Zhang and Peipei Yuan},
journal= {arXiv preprint arXiv:2604.20115},
year = {2026}
}