面向 CNN 的可扩展 Lipschitz 估计
机器学习
2024-08-08 v2
摘要
估计深度神经网络的 Lipschitz 常数日益受到关注，因为它有助于了解模型的泛化能力和对抗鲁棒性。特别是卷积神经网络（CNN），支撑了近期计算机视觉相关应用的大部分成功。然而，尽管现有的 Lipschitz 常数估计方法可以很紧致，但它们在应用于 CNN 时可扩展性有限。为了解决这个问题，我们提出了一种新方法来加速 CNN 的 Lipschitz 常数估计。其核心思想是通过联合层和宽度方向的划分，将一个大的卷积块划分为一系列较小的块。我们根据较小块的 Lipschitz 常数证明了较大块的 Lipschitz 常数的上界。通过改变划分因子，所得到的方法可以调整以优先考虑准确性或可扩展性，并且允许并行化。我们通过一系列实验展示了增强的可扩展性以及与现有基线相当的准确性。
关键词
引用
@article{arxiv.2403.18613,
title = {Scalable Lipschitz Estimation for CNNs},
author = {Yusuf Sulehman and Tingting Mu},
journal= {arXiv preprint arXiv:2403.18613},
year = {2024}
}
备注
An inconsistency between the input of the flattened convolutional block and the flattened, partitioned input impacts the validity of the proposed Lipschitz bound