ReLU 网络局部 Lipschitz 常数的解析界
机器学习
2021-05-03 v1 机器学习
摘要
本文确定了带有 ReLU 激活函数的前馈神经网络的局部 Lipschitz 常数的解析上界。我们通过推导 ReLU、仿射-ReLU 与最大池化函数的 Lipschitz 常数与界，并组合结果以确定网络范围的界来实现这一点。我们的方法利用若干洞见以获得紧界，例如跟踪每一层的零元素，以及分析仿射与 ReLU 函数的复合。此外，我们采用一种审慎的计算途径，使得我们的方法可应用于 AlexNet 与 VGG-16 等大型网络。我们给出了使用不同网络的若干示例，展示了我们的局部 Lipschitz 界比全局 Lipschitz 界更紧。我们还展示了如何将我们的方法应用于为分类网络提供对抗性界。这些结果表明，我们的方法对 AlexNet 与 VGG-16 等大型网络生成了已知最大的最小对抗扰动界。
引用
@article{arxiv.2104.14672,
title = {Analytical bounds on the local Lipschitz constants of ReLU networks},
author = {Trevor Avant and Kristi A. Morgansen},
journal= {arXiv preprint arXiv:2104.14672},
year = {2021}
}
备注
11 pages, 8 figures