LipBaB：计算 ReLU 网络的精确 Lipschitz 常数
机器学习
2021-07-07 v2 数据结构与算法
摘要
神经网络的 Lipschitz 常数在深度学习的多个场景中具有重要作用，涵盖从鲁棒性认证、正则化到带神经网络控制器的系统稳定性分析。因此获得 Lipschitz 常数的紧界十分重要。我们提出 LipBaB，一种分支定界框架，用于以任意所需精度计算带 ReLU 激活函数的深度神经网络局部 Lipschitz 常数的认证界。我们通过界定 Jacobian 矩阵的范数实现这一点，这些 Jacobian 对应于输入域内由不同激活模式引起的网络行为。我们的算法可对任意 p-范数提供可证明精确的 Lipschitz 常数计算。
引用
@article{arxiv.2105.05495,
title = {LipBaB: Computing exact Lipschitz constant of ReLU networks},
author = {Aritra Bhowmick and Meenakshi D'Souza and G. Srinivasa Raghavan},
journal= {arXiv preprint arXiv:2105.05495},
year = {2021}
}