用于深度神经网络Lipschitz常数估计的弦稀疏性
机器学习
2024-01-09 v2
摘要
神经网络的Lipschitz常数可为图像分类的鲁棒性、控制器设计的安全性以及超越训练数据的泛化能力提供保证。由于计算Lipschitz常数是NP难的，估计Lipschitz常数的技术必须在可扩展性与精度之间权衡。本工作中，我们在实现零精度损失的同时，显著推进了称为LipSDP的半定规划技术的可扩展性边界。我们首先证明LipSDP具有弦稀疏性，由此推导出我们称之为Chordal-LipSDP的弦稀疏公式。其关键优势在于，LipSDP的主要计算瓶颈——一个大型半定约束——现被分解为等价的若干较小约束集合：使得Chordal-LipSDP尤其在网络深度增长时优于LipSDP。此外，我们的公式使用可调稀疏参数，能够在不显著增加计算成本的情况下获得更紧的估计。我们通过大量数值实验展示了方法的可扩展性。
引用
@article{arxiv.2204.00846,
title = {Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks},
author = {Anton Xue and Lars Lindemann and Alexander Robey and Hamed Hassani and George J. Pappas and Rajeev Alur},
journal= {arXiv preprint arXiv:2204.00846},
year = {2024}
}