深度神经网络的输出范围分析
机器学习
2017-09-27 v1 机器学习
摘要
深度神经网络（NN）被广泛用于机器学习任务，如图像分类、自主系统的感知与控制。这些深度 NN 也越来越多地被部署于高保障性应用中。因此，迫切需要开发验证神经网络的技术，以检查是否满足某些用户期望的性质。在本文中，我们研究一个特定的验证问题：在给定一组表示为凸多面体的输入下，计算深度神经网络输出的保证范围。范围估计是验证深度 NN 的关键原语。我们提出了一种高效的范围估计算法，该算法结合局部搜索和线性规划问题，以高效地找到 NN 输出在给定输入集上的最大值和最小值。与最近提出的“整体式”优化方法相比，我们使用局部梯度下降来反复寻找并消除函数的局部极小值。最终的全局最优值通过一个混合整数规划实例进行认证。我们实现了我们的方法，并将其与最近提出的深度神经网络求解器 Reluplex 进行了比较。我们证明了所提出的方法在用于自动控制的 NN 以及用于分类的 NN 验证中的有效性。
引用
@article{arxiv.1709.09130,
title = {Output Range Analysis for Deep Neural Networks},
author = {Souradeep Dutta and Susmit Jha and Sriram Sanakaranarayanan and Ashish Tiwari},
journal= {arXiv preprint arXiv:1709.09130},
year = {2017}
}