一种用于随机双层优化的单时间尺度方法

随机双层优化将经典随机优化从单一目标的最小化推广到依赖于另一优化问题解的目标函数的最小化。近来，随机双层优化在超参数优化与模型无关元学习等新兴机器学习应用中重新受到关注。为求解此类随机优化问题，现有方法需要双循环或双时间尺度更新，有时效率较低。本文针对一类随机双层问题提出了一种新的优化方法，称为单时间尺度随机双层优化（STABLE）方法。STABLE以单循环方式运行，并使用固定批量大小的单时间尺度更新。为达到双层问题的$\epsilon$-平稳点，STABLE总共需${\cal O}(\epsilon^{-2})$样本；而在强凸情形下为达到$\epsilon$-最优解，STABLE需${\cal O}(\epsilon^{-1})$样本。据我们所知，这是首个达到与单级随机优化中随机梯度下降法同阶样本复杂度的双层优化算法。