重新审视大规模对抗训练

机器学习社区见证了训练流程的巨大变革，其核心是那些规模空前的“基础模型”。然而，对抗训练领域却相对滞后，主要仍围绕ResNet-50等小模型以及CIFAR-10等微小低分辨率数据集展开。为弥合这一转型差距，本文对对抗训练进行了现代视角下的重新审视，探究其在大规模应用时的潜在优势。此外，我们引入了一种高效且有效的训练策略，能以可承受的计算成本对巨型模型和网络规模数据进行对抗训练。我们将这一新提出的框架命名为AdvXL。实验结果表明，AdvXL在ImageNet-1K数据集上针对AutoAttack攻击建立了新的最先进鲁棒准确率记录。例如，通过在DataComp-1B数据集上训练，我们的AdvXL使一个普通的ViT-g模型大幅超越了此前$l_{\infty}$、$l_{2}$和$l_{1}$鲁棒准确率记录，分别高出11.4%、14.2%和12.9%。这一成就使AdvXL成为一种开创性方法，为在显著更大规模上高效训练鲁棒视觉表征开辟了新的路径。我们的代码可在 https://github.com/UCSC-VLAA/AdvXL 获取。