平衡网络中的联合推断与输入优化

深度学习中的许多任务涉及对网络输入进行优化以最小化或最大化某个目标；例如，在生成模型中对隐空间进行优化以匹配目标图像，或通过对输入进行对抗扰动以降低分类器性能。然而，执行此类优化传统上代价相当高，因为每次梯度步都需要对网络进行完整的前向与反向传播。在另一条研究线上，近期一系列工作提出了深度平衡（DEQ）模型，该类模型摒弃传统的网络深度，而是通过求解单个非线性层的不动点来计算网络输出。本文中，我们指出这两种设定之间存在天然的协同效应。尽管朴素地将DEQ用于这些优化问题代价高昂（归因于每次梯度步计算不动点所需时间），但我们可以利用基于梯度的优化本身可表述为不动点迭代这一事实来大幅提升整体速度。即，我们在一个同时编码原网络与优化过程的单一“增广”DEQ模型中，同步求解DEQ不动点并优化网络输入。事实上，该过程足够快，使我们能够高效训练依赖“内层”优化循环的DEQ模型。我们在多种任务上展示了该策略，例如优化隐码训练生成模型、训练用于去噪与修复等逆问题的模型、对抗训练以及基于梯度的元学习。