BiAdam:快速自适应双层优化方法

由于超参数优化与元学习等诸多应用,双层优化近期在机器学习中引起了越来越多的关注。尽管近期已提出许多双层方法,这些方法均未考虑使用自适应学习率。众所周知,自适应学习率可加速优化算法。为填补这一空白,本文提出一种新颖的快速自适应双层框架,用于求解外层问题可能非凸、内层问题强凸的随机双层优化问题。我们的框架使用统一自适应矩阵,涵盖多种类型的自适应学习率,并可灵活使用动量与方差缩减技术。特别地,我们为双层优化提供了一个有用的收敛分析框架。具体而言,我们提出一种快速单循环自适应双层优化(BiAdam)算法,其寻找 $\epsilon$-平稳解的采样复杂度为 $\tilde{O}(\epsilon^{-4})$。同时,我们提出 BiAdam 算法的加速版本(VR-BiAdam),达到了最佳的已知采样复杂度 $\tilde{O}(\epsilon^{-3})$。据我们所知,我们首次研究了具有自适应学习率的自适应双层优化方法。在数据超清洗与超表示学习任务上的实验结果证明了我们算法的效率。