深度神经网络Lipschitz常数的高效精确估计
机器学习
2023-01-18 v2 人工智能
最优化与控制
机器学习
摘要
深度神经网络（DNNs）Lipschitz常数的紧估计在许多应用中都有用，从分类器的鲁棒性认证到带强化学习控制器的闭环系统稳定性分析。文献中现有的Lipschitz常数估计方法要么缺乏准确性，要么可扩展性差。本文中，我们提出一种凸优化框架，以准确且高效地计算DNNs Lipschitz常数的保证上界。我们的核心思想是将激活函数解释为凸势函数的梯度。因此，它们满足某些可由二次约束描述的性质。这一特定描述使我们能将Lipschitz常数估计问题表述为半定规划（SDP）。所得SDP可经调整以提高估计精度（通过捕捉不同层激活函数间的相互作用）或可扩展性（通过分解与并行实现）。我们以随机生成网络及在MNIST和Iris数据集上训练的分类器的多种实验说明了方法的效用。特别地，我们实验证明我们的Lipschitz界比文献中最准确。我们还研究了对抗训练方法对所得分类器Lipschitz界的影响，并表明我们的界可用于高效提供鲁棒性保证。
引用
@article{arxiv.1906.04893,
title = {Efficient and Accurate Estimation of Lipschitz Constants for Deep Neural Networks},
author = {Mahyar Fazlyab and Alexander Robey and Hamed Hassani and Manfred Morari and George J. Pappas},
journal= {arXiv preprint arXiv:1906.04893},
year = {2023}
}