OptNet：可微优化作为神经网络中的一层
机器学习
2021-12-03 v5 人工智能
最优化与控制
机器学习
摘要
本文提出OptNet，一种将优化问题（此处具体为二次规划形式）作为更大端到端可训练深度网络中独立层的网络架构。这些层编码了传统卷积层和全连接层通常无法捕获的隐藏状态之间的约束和复杂依赖关系。我们探索了此种架构的基础：我们展示了如何利用来自灵敏度分析、双层优化和隐式微分的技术来精确地对这些层以及层参数进行微分；我们为这些层开发了一种高效求解器，该求解器在原始对偶内点法中利用基于GPU的快速批求解，并且在求解之上几乎不额外增加成本地提供反向传播梯度；我们强调了这些方法在若干问题中的应用。在一个显著例子中，该方法仅给定输入和输出棋局就学会玩迷你数独(4x4)，而无需关于游戏规则的先验信息；这凸显了OptNet比其他神经架构更好地学习硬约束的能力。
引用
@article{arxiv.1703.00443,
title = {OptNet: Differentiable Optimization as a Layer in Neural Networks},
author = {Brandon Amos and J. Zico Kolter},
journal= {arXiv preprint arXiv:1703.00443},
year = {2021}
}
备注
ICML 2017