对抗训练的光滑性分析

深度神经网络易受对抗攻击。近期关于对抗鲁棒性的研究聚焦于参数空间中的损失景观，因其与优化和泛化性能相关。这些研究认为，对抗训练的困难源于损失函数的非光滑性：即其梯度不是 Lipschitz 连续的。然而，该分析忽略了对抗攻击对模型参数的依赖性。由于对抗攻击是针对模型优化的，它们应当依赖于参数。考虑到这一依赖性，我们利用针对模型参数的最优攻击，更细致地分析了对抗训练损失函数的光滑性。我们揭示，对抗攻击的约束是非光滑性的一个成因，且光滑性依赖于约束的类型。具体而言，$L_\infty$ 约束比 $L_2$ 约束更易引发非光滑性。此外，我们的分析表明，若我们针对输入数据将损失函数平坦化，对抗损失梯度的 Lipschitz 常数往往增大。为应对非光滑性，我们展示了 EntropySGD 能平滑非光滑损失并提升对抗训练的性能。