Lipschitz 界与基于拉普拉斯平滑的可证明鲁棒训练

在这项工作中，我们提出了一种基于图的学习框架，用于训练对对抗扰动具有可证明鲁棒性的模型。与基于正则化的方法不同，我们将对抗鲁棒学习问题表述为带 Lipschitz 约束的损失最小化问题，并证明相关拉格朗日的鞍点由带加权拉普拉斯算子的泊松方程刻画。此外，拉普拉斯算子的权重由 Lipschitz 约束的拉格朗日乘子给出，它调节最小化器对扰动的敏感性。然后，我们设计了一种可证明鲁棒的训练方案，使用输入空间的基于图离散化以及原始对偶算法来收敛到拉格朗日的鞍点。我们的分析建立了带约束强制加权的椭圆算子与对抗学习之间的新联系。我们还研究了在损失上具有裕度来提升最小化器鲁棒性的互补问题，将其表述为 Lipschitz 常数的带损失约束最小化问题。我们提出了一种获得鲁棒化最小化器的技术，并通过一系列梯度 $p$-范数最小化问题逼近 Lipschitz 常数最小化，来评估基本的 Lipschitz 下界。最终，我们的结果表明，对于期望的标称性能，对对抗扰动的敏感性存在一个仅取决于损失函数和数据分布的基本下界，且超出该界的鲁棒性提升只能以牺牲标称性能为代价。我们的训练方案在性能和鲁棒性约束下均可证明地达到这些界。