再探凸松弛壁垒：面向神经网络验证的紧化单神经元松弛
机器学习
2020-10-26 v2 机器学习
摘要
我们通过为 ReLU 神经元提出一种新的紧化凸松弛，提升了基于传播和线性优化的神经网络验证算法的有效性。与以往仅关注 ReLU 单变量输入空间的单神经元松弛不同，我们的方法考虑了 ReLU 之前仿射预激活函数的多变量输入空间。利用子模性和凸几何的结果，我们推导出了当该多变量输入位于盒域上时最紧可能凸松弛的显式描述。我们表明，我们的凸松弛显著强于常用的单变量输入松弛，而后者已被提出作为验证的自然凸松弛壁垒。尽管我们对松弛的描述可能需要指数数量的不等式，但我们证明它们可以在线性时间内被分离，因此可以根据需要高效地纳入优化算法中。基于这一新颖松弛，我们设计了两种多项式时间神经网络验证算法：一种利用我们松弛全部能力的基于线性规划的算法，以及一种推广现有方法的快速传播算法。在这两种情况下，我们都表明，以适度的计算代价增加，我们加强的松弛使我们能够比类似算法验证显著更多的实例。
引用
@article{arxiv.2006.14076,
title = {The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification},
author = {Christian Tjandraatmadja and Ross Anderson and Joey Huchette and Will Ma and Krunal Patel and Juan Pablo Vielma},
journal= {arXiv preprint arXiv:2006.14076},
year = {2020}
}