深度神经网络的对抗 Rademacher 复杂度
机器学习
2022-11-29 v1
摘要
深度神经网络容易受到对抗攻击。理想情况下，一个鲁棒的模型应在受扰动的训练数据和未见过的受扰动测试数据上均表现良好。经验表明，拟合受扰动的训练数据并不困难，但泛化到受扰动的测试数据却相当困难。为了更好地理解对抗泛化，研究深度神经网络的对抗 Rademacher 复杂度 (ARC) 具有重要意义。然而，由于分析 ARC 定义中的对抗损失存在困难，如何界定多层情况下的 ARC 尚不清楚。目前已有两类关于 ARC 的尝试。一类是在线性和单隐层情况下提供 ARC 的上界。然而，这些方法似乎难以扩展到多层情况。另一类是修改对抗损失，并在多层情况下提供这种代理损失上的 Rademacher 复杂度上界。然而，此类 Rademacher 复杂度的变体无法保证是有意义的鲁棒泛化差距 (RGG) 的界限。在本文中，我们为这一未解决的问题提供了一种解决方案。具体而言，我们首次给出了深度神经网络对抗 Rademacher 复杂度的界限。我们的方法基于覆盖数。我们提供了一种处理 DNN 鲁棒函数类的方法，使得我们能够计算覆盖数。最后，我们通过实验研究了我们界限的经验启示，并对对抗泛化较差的原因进行了分析。
引用
@article{arxiv.2211.14966,
title = {Adversarial Rademacher Complexity of Deep Neural Networks},
author = {Jiancong Xiao and Yanbo Fan and Ruoyu Sun and Zhi-Quan Luo},
journal= {arXiv preprint arXiv:2211.14966},
year = {2022}
}