ReLU 网络 Lipschitz 常数的半代数优化
最优化与控制
2020-10-29 v4 机器学习
摘要
网络的 Lipschitz 常数在深度学习的许多应用中起着重要作用，例如鲁棒性认证与 Wasserstein Generative Adversarial Network。我们引入一种半定规划层次来估计多层深度神经网络的全局与局部 Lipschitz 常数。新颖之处在于将 ReLU 函数导数的多项式提升与 Putinar 正性证书的弱推广相结合。该思想也可应用于机器学习中其他近稀疏的多项式优化问题。我们通过实验证明，相对于最先进的线性规划方法，我们的方法提供了一种权衡，并且在某些情况下我们在更短时间内获得了更紧的界。
引用
@article{arxiv.2002.03657,
title = {Semialgebraic Optimization for Lipschitz Constants of ReLU Networks},
author = {Tong Chen and Jean-Bernard Lasserre and Victor Magron and Edouard Pauwels},
journal= {arXiv preprint arXiv:2002.03657},
year = {2020}
}
备注
NeurIPS 2020