下层为压缩映射的双层优化：无热启动的最优样本复杂度

我们分析一类通用的双层问题，其中上层问题由光滑目标函数的最小化构成，下层问题是求一个光滑压缩映射的不动点。此类问题包含元学习、平衡模型、超参数优化和数据投毒对抗攻击等实例。近期的若干工作提出了对下层问题进行热启动的算法，即以上一次的下层近似解作为下层求解器的起点。该热启动过程在随机与确定性设定下均可改善样本复杂度，并在某些情形下达到阶最优样本复杂度。然而，在元学习与平衡模型等情形中，热启动过程并不适用或无效。本工作中我们表明，即便无热启动，仍可能达到阶（近）最优样本复杂度。具体地，我们提出一种简单方法，在下层使用（随机）不动点迭代，在上层使用投影不精确梯度下降，可在随机与确定性设定下分别使用 $O(\epsilon^{-2})$ 与 $\tilde{O}(\epsilon^{-1})$ 个样本达到一个 $\epsilon$-驻点。最后，相较于使用热启动的方法，我们的方法给出了更简洁的分析，无需研究上下层迭代之间的耦合相互作用。