双层优化：收敛性分析与增强设计

双层优化已成为许多机器学习问题（如元学习、超参数优化和强化学习）的有力工具。本文中，我们研究非凸-强凸双层优化问题。对于确定性双层优化，我们分别基于近似隐式微分（AID）和迭代微分（ITD）对两种流行算法给出了全面的收敛速率分析。对于基于 AID 的方法，由于更实用的参数选择以及预热启动策略，我们按阶改进了先前的收敛速率分析；对于基于 ITD 的方法，我们建立了首个理论收敛速率。我们的分析还提供了 ITD 与 AID 基于方法之间的定量比较。对于随机双层优化，我们提出了一种名为 stocBiO 的新算法，其特点是通过高效的 Jacobian 与 Hessian-向量积计算实现了样本高效的超梯度估计器。我们给出了 stocBiO 的收敛速率保证，并表明就条件数 $\kappa$ 与目标精度 $\epsilon$ 而言，stocBiO 按阶优于已知最佳计算复杂度。我们进一步通过元学习与超参数优化的实验验证了理论结果并展示了双层优化算法的效率。