对抗鲁棒泛化与平坦极小值的关联研究

对抗训练（AT）已成为获取对抗样本鲁棒模型的事实标准。然而，AT 表现出严重的鲁棒过拟合：对抗样本上的交叉熵损失（即所谓鲁棒损失）在训练样本上持续下降，而在测试样本上最终上升。实践中，这导致较差的鲁棒泛化，即对抗鲁棒性难以泛化到新样本。本文研究鲁棒泛化与权重空间中鲁棒损失景观平坦度（即扰动权重时鲁棒损失是否显著变化）之间的关系。为此，我们提出平均情形与最坏情形度量来衡量鲁棒损失景观的平坦度，并展示良好鲁棒泛化与平坦度之间的相关性。例如，在整个训练过程中，平坦度在过拟合期间显著下降，使得早停能有效找到鲁棒损失景观中更平坦的极小值。类似地，取得更高对抗鲁棒性的 AT 变体也对应于更平坦的极小值。这对许多流行选择均成立，如 AT-AWP、TRADES、MART、带自监督或额外无标签样本的 AT，以及简单正则化技术如 AutoAugment、权重衰减或标签噪声。为在这些方法间公平比较，我们的平坦度度量专门设计为尺度不变，并进行了大量实验以验证发现。