仅数据增强即可改进对抗训练

对抗训练存在鲁棒过拟合问题，严重损害其泛化性能。数据增强在标准训练中能有效防止过拟合，但许多先前工作观察到其在缓解对抗训练中的过拟合方面无效。本工作证明，与先前发现相反，仅数据增强就能显著提升对抗训练中的准确率与鲁棒性。我们发现数据增强的困难度与多样性是对抗鲁棒过拟合的重要因素。一般而言，多样性可同时提升准确率与鲁棒性，而困难度能在特定限度内以准确率为代价提升鲁棒性，超过该限度则二者均下降。为缓解鲁棒过拟合，我们首先提出一种新的裁剪变换 Cropshift，其相比传统方法（Padcrop）具有改进的多样性。随后我们基于 Cropshift 提出一种新的数据增强方案，具有大幅提升的多样性与良好平衡的困难度。实证上，我们的增强方法在对抗训练的数据增强中取得了最先进的准确率与鲁棒性。此外，当与权重平均结合时，它匹配甚至超越了当代缓解鲁棒过拟合最佳正则化方法的性能。代码见：https://github.com/TreeLLi/DA-Alone-Improves-AT。