精确计算 ReLU 网络的局部 Lipschitz 常数
机器学习
2021-01-12 v2 机器学习
摘要
神经网络的局部 Lipschitz 常数是一个有用的度量，在鲁棒性、泛化与公平性评估中具有应用价值。我们给出了将非光滑向量值函数的局部 Lipschitz 常数与广义 Jacobian 范数最大化相关联的新解析结果。我们提出了一个充分条件，使得反向传播总是返回广义 Jacobian 的一个元素，并在这类广泛的函数上重构了该问题。我们展示了估计 ReLU 网络 Lipschitz 常数的强不可近似性结果，随后构造了一种精确计算这些量的算法。我们利用该算法评估了竞争性 Lipschitz 估计器的紧度以及正则化训练对 Lipschitz 常数的影响。
引用
@article{arxiv.2003.01219,
title = {Exactly Computing the Local Lipschitz Constant of ReLU Networks},
author = {Matt Jordan and Alexandros G. Dimakis},
journal= {arXiv preprint arXiv:2003.01219},
year = {2021}
}
备注
Accepted into NeurIPS 2020. Code: https://github.com/revbucket/lipMIP