基于Bregman距离的增强双层优化

双层优化近来已被用于许多机器学习问题，如超参数优化、策略优化和元学习。尽管已提出许多双层优化方法，它们仍受困于较高的计算复杂度，且未考虑带非光滑正则化更一般的双层问题。因此，本文提出一类利用Bregman距离求解双层优化问题的增强双层优化方法，其中外层子问题非凸且可能非光滑，内层子问题强凸。具体地，我们提出一种基于Bregman距离的双层优化方法（BiO-BreD）求解确定性双层问题，其计算复杂度低于已知最优结果。同时，我们还提出一种基于随机近似梯度与Bregman距离的随机双层优化方法（SBiO-BreD）求解随机双层问题。此外，我们利用方差缩减技术进一步提出SBiO-BreD的加速版本（ASBiO-BreD），在求解条件数$\kappa$与目标精度$\epsilon$下寻找$\epsilon$-平稳点时，其计算复杂度低于已知关于条件数和目标精度的最优计算复杂度。我们开展了数据超清洗任务和超表示学习任务，以证明新算法优于相关双层优化方法。