一种无需 Hessian 逆的双层优化全单循环算法

本文针对双层优化问题，提出了一种无需 Hessian 逆的全单循环算法 (FSLA)。经典的双层优化算法采用双循环结构，计算代价高昂。近来，已有若干单循环算法被提出，通过交替优化内层和外层变量来实现。然而，这些算法尚未实现真正的全单循环，因为它们忽略了在给定内层和外层状态下计算超梯度所需的循环。为开发全单循环算法，我们首先研究了超梯度的结构，并确定了一个通用的超梯度计算近似公式，该公式涵盖了多种先前常见的方法，例如时间反向传播、共轭梯度等。基于此公式，我们引入了一个新的状态变量来维护历史超梯度信息。将我们的新公式与内外层变量的交替更新相结合，我们提出了一种高效的全单循环算法。我们从理论上证明，新状态变量产生的误差可以有界，且我们的算法以 $O(\epsilon^{-2})$ 的速率收敛。最后，我们通过多个基于双层优化的机器学习任务，实证验证了算法的有效性。