面向认证鲁棒性的 Lipschitz 感知线性移植

Lipschitz 常数是认证鲁棒性中的基本属性，因而较小的值意味着模型在其预测自信时对对抗样本更具鲁棒性。然而，识别最坏情况下的对抗样本已知是 NP 完全问题。虽然过度近似方法在神经网络验证方面取得了成功，但降低近似误差仍是一大挑战。此外，这些近似误差阻碍了获取紧凑的局部 Lipschitz 常数的能力，这在认证鲁棒性中至关重要。最初，针对非线性激活函数引入线性移植以减少不稳定神经元的数量，以实现可扩展且完整的验证。然而，尚无理论分析解释线性移植如何改善认证鲁棒性。我们则将线性移植主要视为消除近似误差的手段，而非减少不稳定神经元的数量，因为线性函数无需松弛。在本文中，我们提出两个理论贡献：1）从 $l_\infty$ 局部 Lipschitz 常数视角阐释线性移植如何改善认证鲁棒性；2）将线性移植引入非线性激活函数（近似误差的主要来源），可获得更紧的局部 Lipschitz 常数。基于这些理论贡献，我们提出一种 Lipschitz 感知的线性移植方法，通过消除主导近似误差，紧凑局部 Lipschitz 常数至关重要，从而提升认证鲁棒性，即便无需认证训练亦可实现。我们的大量实验表明，将线性移植引入这些有影响力的激活函数可缩紧 $l_\infty$ 局部 Lipschitz 常数并提升认证鲁棒性。