ExLipBaB：分段线性神经网络的精确Lipschitz常数计算

已有研究表明，神经网络的Lipschitz常数可用于推导鲁棒性保证、通过正则化提高泛化能力，甚至构建可逆网络。因此，针对不同类别的网络，已经开发了许多在边界紧致性和计算成本上各不相同的近似Lipschitz常数的方法。然而，关于精确计算方法的研究相对较少，而精确计算已被证明是NP难的。尽管如此，在某些应用中，人们可能愿意接受精确方法的计算成本。这些应用可能包括新方法的基准测试，或为敏感数据上的小模型计算鲁棒性保证。不幸的是，现有的精确算法仅限于ReLU激活的网络，而众所周知，ReLU在Lipschitz约束网络背景下存在严重缺点。因此，我们提出了LipBaB算法的一个推广，用于计算任意分段线性神经网络和$p$-范数的精确Lipschitz常数。使用我们的方法，网络可以包含传统的激活函数如ReLU或LeakyReLU，也可以包含在Lipschitz约束网络背景下日益受到关注的激活函数如GroupSort或相关的MinMax和FullSort，甚至其他分段线性函数如MaxPool。