通过基于稀疏性的压缩得到神经网络的对抗风险界

神经网络已被证明对其输入的微小对抗扰动是脆弱的,尤其是在$\ell_\infty$攻击下的高维数据。为应对此问题,诸如对抗训练等技术已被用于获得在训练集上鲁棒的模型。然而,此类模型对对抗扰动的鲁棒性可能无法推广到未见过的数据。为研究鲁棒性如何泛化,近期工作在假设输入具有有界$\ell_2$范数的前提下,对$\ell_\infty$攻击的对抗风险进行界定,且无显式的维度依赖。在本工作中,我们关注对$\ell_\infty$有界输入的$\ell_\infty$攻击,并证明基于间隔的界。具体而言,我们采用一种基于压缩的方法,该方法依赖于高效压缩可调参数集合而不扭曲对抗风险。为此,我们在神经网络的权重矩阵上应用有效稀疏性和有效联合稀疏性的概念。这导致了既无显式输入维度依赖、也无类别数依赖的界。我们的结果表明,具有近似稀疏权重矩阵的神经网络不仅享有增强的鲁棒性,还具有更好的泛化能力。