通过界传播高效计算神经网络的局部 Lipschitz 常数

Lipschitz 常数与神经网络的许多性质相关，如鲁棒性、公平性和泛化能力。现有的计算 Lipschitz 常数的方法要么产生相对宽松的上界，要么局限于小型网络。在本文中，我们开发了一个高效框架，通过线性界传播紧上界约束 Clarke Jacobian 的范数，来计算神经网络的 $\ell_\infty$ 局部 Lipschitz 常数。我们用由 Clarke Jacobian 链式法则诱导的高阶反向图上的线性界传播过程来表述局部 Lipschitz 常数的计算。为实现线性界传播，我们推导了 Clarke Jacobian 中特定非线性的紧线性松弛。该表述统一了现有的临时方法如 RecurJac，其可视为我们方法在较弱松弛下的特例。该界传播框架还使我们能轻松借鉴神经网络验证中流行的 Branch-and-Bound（BaB）方法以进一步收紧 Lipschitz 常数。实验表明，在微小模型上，我们的方法与无法扩展到稍大模型的精确方法产生可比较的界；在较大模型上，我们的方法比现有松弛或朴素方法更高效产生更紧结果，且我们的方法可扩展到先前工作无法处理的更大实用模型。我们还展示了在可证明单调性分析上的一个应用。代码见 https://github.com/shizhouxing/Local-Lipschitz-Constants。