基于 Jacobian 正则化的深度神经网络对抗鲁棒泛化理论

强大的深度神经网络容易受到对抗攻击的影响。为了获得对抗鲁棒的模型，研究人员分别开发了对抗训练和 Jacobian 正则化技术。关于对抗训练已有丰富的理论和实证研究，但 Jacobian 正则化的理论基础仍然缺乏。在本研究中，我们表明 Jacobian 正则化与对抗训练密切相关，因为在 $\ell_{2}$ 或 $\ell_{\infty}$ 对抗攻击下，$\ell_{2}$ 或 $\ell_{1}$ Jacobian 正则化损失分别作为对抗鲁棒损失的近似上界。进一步，我们通过界定标准损失函数类和 Jacobian 正则化函数类的 Rademacher 复杂度，为 Jacobian 正则化风险最小化器建立了鲁棒泛化界。我们的理论结果表明，Jacobian 的范数与标准泛化和鲁棒泛化均相关。我们还在 MNIST 数据分类上进行了实验，证明 Jacobian 正则化风险最小化确实可作为对抗鲁棒风险最小化的代理，并且降低 Jacobian 的范数能够同时改善标准泛化和鲁棒泛化。本研究通过 Jacobian 正则化促进了对对抗鲁棒泛化的理论与实证理解。