在无 Hessian/Jacobian 随机双层优化中实现 ${O}(\epsilon^{-1.5})$ 复杂度

在本文中，我们重新审视双层优化问题，其中上层目标函数通常是非凸的，下层目标函数是强凸的。尽管此类问题已被广泛研究，但在无任何二阶导数计算的情况下，如何在无 Hessian/Jacobian 随机双层优化中实现 ${O}(\epsilon^{-1.5})$ 的样本复杂度仍是一个开放问题。为了填补这一空白，我们提出了一种新颖的无 Hessian/Jacobian 双层优化器 FdeHBO，其特点是具有简单的全单环结构、基于投影的有限差分 Hessian/Jacobian 向量近似以及基于动量的更新。在理论上，我们证明了 FdeHBO 需要 ${O}(\epsilon^{-1.5})$ 次迭代（每次迭代使用 ${O}(1)$ 个样本且仅使用一阶梯度信息）即可找到 $\epsilon$ 精度的驻点。据我们所知，这是首个在非凸-强凸随机双层优化中实现 ${O}(\epsilon^{-1.5})$ 样本复杂度的无 Hessian/Jacobian 方法。