分析并增强展开优化的反向传播收敛性

将约束优化模型作为组件集成到深度网络中，在许多专门的学习任务上取得了有希望的进展。在这种设置中，一个核心挑战是通过优化问题的解进行反向传播，而该解通常缺乏闭式形式。一种典型策略是算法展开，它依赖于通过迭代优化求解器执行的整个操作链的自动微分。本文提供了对展开优化反向传播的理论见解，表明其渐近等价于通过特定迭代方法求解线性系统。基于这些见解，展示了展开的几个实际陷阱，并提出了一个称为折叠优化的系统，以从展开求解器实现中构建更高效的反向传播规则。在各种端到端优化和学习任务上的实验证明了该系统在计算上以及在不同优化问题形式上的灵活性方面的优势。