1-Lipschitz 层的比较：内存、速度与可认证鲁棒性
机器学习
2023-11-29 v1 计算机视觉与模式识别
神经与进化计算
摘要
神经网络对幅度有界输入扰动的鲁棒性，是深度学习模型部署于安全关键系统时的一个重要关切。近来，科学界致力于通过构建利用 Lipschitz 有界全连接与卷积层的 1-Lipschitz 神经网络来增强可认证鲁棒性保证。尽管文献中已提出多种方法以实现该目标，但理解这些方法的性能并不直观，因为不同应用所关注的不同指标（如训练时间、内存使用、准确率、可认证鲁棒性）可能相关。为此，本文通过从内存使用、速度和可认证鲁棒准确率方面进行评估，对这些方法进行了详尽的理论与实证比较。本文还提供了一些指导方针与建议，以协助用户根据可用资源选择最适用的方法。我们在 https://github.com/berndprach/1LipschitzLayersCompared 提供了代码。
引用
@article{arxiv.2311.16833,
title = {1-Lipschitz Layers Compared: Memory, Speed, and Certifiable Robustness},
author = {Bernd Prach and Fabio Brau and Giorgio Buttazzo and Christoph H. Lampert},
journal= {arXiv preprint arXiv:2311.16833},
year = {2023}
}