POLICE：深度神经网络的可证明最优线性约束强制方法
机器学习
2023-03-13 v3 计算机视觉与模式识别
机器学习
摘要
深度神经网络（DNNs）在许多场景中优于其他函数逼近器，这得益于其组合任意所需可微算子的模块化特性。所形成的参数化函数随后通过简单梯度下降来调整以解决手头任务。这种模块化是以难以对DNN施加严格约束为代价的，例如来自任务先验知识或期望物理特性的约束，这是一个开放性挑战。在本文中，我们提出了首个可证明的DNN仿射约束强制方法，该方法仅需对给定DNN前向传播做最小改动，计算友好，且使DNN参数优化保持无约束，即可采用标准基于梯度的方法。我们的方法不需要任何采样，并可证明确保DNN在训练和测试期间在给定输入空间区域上任意点均满足仿射约束。我们将此方法命名为POLICE，即可证明最优线性约束强制（Provably Optimal LInear Constraint Enforcement）的缩写。Github: https://github.com/RandallBalestriero/POLICE
引用
@article{arxiv.2211.01340,
title = {POLICE: Provably Optimal Linear Constraint Enforcement for Deep Neural Networks},
author = {Randall Balestriero and Yann LeCun},
journal= {arXiv preprint arXiv:2211.01340},
year = {2023}
}