缩放训练数据对对抗鲁棒性的影响
计算机视觉与模式识别
2025-10-01 v1 人工智能
密码学与安全
机器学习
摘要
尽管在架构和训练范式上取得了进展，深度神经网络仍然容易受到对抗样本的攻击。我们研究了训练数据特征如何影响跨越 36 个最先进视觉模型的对抗鲁棒性，这些模型涵盖了监督、自监督和对比学习方法，并在包含 120 万至 220 亿张图像的数据集上进行训练。模型在六个黑盒攻击类别下进行了评估：随机扰动、两种类型的几何掩码、COCO 对象操作、ImageNet-C 损坏和 ImageNet-R 风格转换。鲁棒性随数据量和模型大小遵循对数缩放定律：数据量增加十倍使攻击成功率（ASR）平均降低约 3.2%，而模型大小增加十倍使 ASR 平均降低约 13.4%。值得注意的是，一些在精选数据集上训练的自监督模型（如 DINOv2）的表现优于在更大但未精选的数据集上训练的模型，这挑战了仅靠规模驱动鲁棒性的假设。对 ResNet50s 进行对抗微调改善了跨结构变化的泛化能力，但未能改善跨颜色分布的泛化能力。人类评估揭示了人类视觉与机器视觉之间持续存在的差距。这些结果表明，尽管缩放可以提高鲁棒性，但数据质量、架构和训练目标在实现广谱对抗韧性方面比单纯的规模起着更决定性的作用。
引用
@article{arxiv.2509.25927,
title = {The Impact of Scaling Training Data on Adversarial Robustness},
author = {Marco Zimmerli and Andreas Plesner and Till Aczel and Roger Wattenhofer},
journal= {arXiv preprint arXiv:2509.25927},
year = {2025}
}
备注
Accepted at the workshop Reliable ML from Unreliable Data at NeurIPS 2025