扩展 LipSDP 超越斜率受限激活函数的新型二次约束

近年来，半定规划（SDP）技术在为神经网络提供精确的 Lipschitz 界方面展现出巨大潜力。具体而言，LipSDP 方法（Fazlyab 等人，2019）备受关注，它提供了可在多项式时间保证下计算出的最不保守的 Lipschitz 上界。然而，LipSDP 的一个主要限制是其公式要求激活函数在 $[0,1]$ 上斜率受限，这阻碍了其进一步用于更一般的激活函数，如 GroupSort、MaxMin 和 Householder。例如，可以将 MaxMin 激活重写为残差 ReLU 网络。但是，将 LipSDP 直接应用于所得的残差 ReLU 网络是保守的，甚至无法恢复 MaxMin 激活是 1-Lipschitz 这一众所周知的事实。我们的论文弥合了这一差距，并将 LipSDP 扩展到斜率受限激活函数之外。为此，我们通过利用 GroupSort、MaxMin 和 Householder 激活的底层属性（如和不变性），为它们提供了新型二次约束。我们提出的分析是通用的，并为估计具有 GroupSort、MaxMin 和 Householder 激活的丰富神经网络架构类别（包括非残差和残差神经网络以及隐式模型）的 $\ell_2$ 和 $\ell_\infty$ Lipschitz 界提供了一种统一方法。最后，我们通过各种实验说明了我们方法的实用性，并表明我们提出的 SDP 与现有方法相比能生成更不保守的 Lipschitz 界。