BROS: memory-efficient single-loop bilevel optimization via bias-corrected randomized subspaces
机器学习
2026-05-13 v2 最优化与控制
摘要
随机bilevel优化(SBO)已成为超参数学习、数据重新加权、representation学习和数据混合优化中深度学习的标准框架。现有的exact single-loop SBO方法和memory-efficient surrogate SBO方法要么会为大型lower-level神经网络创建严重的memory压力，要么在标准假设下缺乏具竞争力的收敛保证。在本文中，我们提出BROS，一种memory-efficient single-loop SBO方法，具有与exact single-loop SBO方法相同的收敛率阶。BROS在随机子空间中进行lower和auxiliary更新，并采用Rademacher bi-probe校正以恢复unbiased Hessian-action估计器。我们证明BROS在仅采用标准假设的情况下，保留了MA-SOBA寻找-stationary点所需的样本复杂度。实验在hyper-data清洗、data-mixture学习、hyper-representation学习和ViT sample reweighting中显示，BROS在峰值memory降低最高可达44.9%，同时与full-space baseline性能相近。
引用
@article{arxiv.2605.10288,
title = {BROS: Bias-Corrected Randomized Subspaces for Memory-Efficient Single-Loop Bilevel Optimization},
author = {Hengrui Zhang and Boao Kong and Engao Zhang and Kun Yuan},
journal= {arXiv preprint arXiv:2605.10288},
year = {2026}
}