关于对抗训练抵御常见 corruptions 的有效性

关于针对常见 corruptions 的鲁棒性的文献中，对于对抗训练是否能在此设定下提升性能尚无共识。首先，我们表明，当以适当选择的扰动半径使用时，$\ell_p$ 对抗训练可作为抵御常见 corruptions 的强基线，同时提升准确率和校准性。随后我们解释了为何对抗训练优于使用简单高斯噪声的数据增强——后者已被观察到是常见 corruptions 上一个有意义的基线。与此相关，我们识别出高斯增强过拟合到用于训练的特定标准差时的 $\sigma$-过拟合现象，这对常见 corruption 准确率有显著的 detrimental 影响。我们讨论了如何缓解此问题，进而如何通过引入以学习到的感知图像块相似度作为距离度量的对抗训练的高效松弛来进一步增强 $\ell_p$ 对抗训练。通过在 CIFAR-10 和 ImageNet-100 上的实验，我们表明我们的方法不仅改进了 $\ell_p$ 对抗训练基线，而且与 AugMix、DeepAugment、ANT 和 SIN 等数据增强方法具有累积增益，从而在常见 corruptions 上取得最先进的性能。我们实验的代码公开于 https://github.com/tml-epfl/adv-training-corruptions。