深度神经网络的改进可扩展 Lipschitz 界
机器学习
2025-03-19 v1 系统与控制
系统与控制
最优化与控制
机器学习
摘要
计算深度神经网络的紧致 Lipschitz 界对于分析其鲁棒性和稳定性至关重要，但现有方法要么产生相对保守的估计，要么依赖半正定规划（SDP）公式（即 LipSDP 条件），而这些方法面临可扩展性问题。在 ECLipsE-Fast（最先进的避免 SDP 公式的 Lipschitz 界方法）的基础上，我们推导出一系列改进的可扩展 Lipschitz 界，可以组合使用以超越 ECLipsE-Fast。具体而言，我们利用 LipSDP 可行点的更一般参数化来推导各种闭式 Lipschitz 界，避免了使用 SDP 求解器。此外，我们证明我们的技术涵盖了 ECLipsE-Fast 作为特例，并为深度神经网络导出了更大类的可扩展 Lipschitz 界。我们的实证研究表明，我们的界改进了 ECLipsE-Fast，进一步推进了大规模神经网络 Lipschitz 估计的可扩展性和精度。
引用
@article{arxiv.2503.14297,
title = {Improved Scalable Lipschitz Bounds for Deep Neural Networks},
author = {Usman Syed and Bin Hu},
journal= {arXiv preprint arXiv:2503.14297},
year = {2025}
}