灾难性过拟合、熵差与参与率：一种用于快速对抗训练的无噪声 $l^p$ 范数解决方案

对抗训练是鲁棒深度学习的基础，但像快速梯度符号法（FGSM）这样的快速方法常常遭受灾难性过拟合（CO），即模型对单步攻击变得鲁棒，但对多步变体攻击却失效。虽然现有解决方案依赖于噪声注入、正则化或梯度裁剪，但我们提出了一种纯粹通过控制 $l^p$ 训练范数来缓解 CO 的新颖解决方案。我们的研究源于一个经验观察：CO 在 $l^{\infty}$ 范数下比在 $l^2$ 范数下更为普遍。利用这一见解，我们开发了一个将广义 $l^p$ 攻击视为不动点问题的框架，并设计了 $l^p$-FGSM 攻击以理解从 $l^2$ 到 $l^{\infty}$ 的转变机制。这引出了我们的核心见解：当高度集中的梯度（信息集中在少数维度）与激进的范数约束相互作用时，CO 就会出现。通过参与率和熵度量来量化梯度集中度，我们开发了一种自适应 $l^p$-FGSM，它能根据梯度信息自动调整训练范数。大量实验表明，这种方法无需额外的正则化或噪声注入即可实现强大的鲁棒性，为缓解 CO 问题提供了一条新颖且理论上有据可循的途径。