重新审视 ImageNet 上的对抗训练：架构、训练及跨威胁模型的泛化
计算机视觉与模式识别
2023-10-31 v2 密码学与安全
机器学习
摘要
尽管对抗训练已在 ResNet 架构与 CIFAR 等低分辨率数据集上被广泛研究，但对于 ImageNet 所知甚少。鉴于近期关于 transformer 是否比卷积网络更鲁棒的争论，我们重新审视 ImageNet 上的对抗训练，比较 ViT 与 ConvNeXt。大量实验表明，架构上的微小改动（最显著的是用 ConvStem 替换 PatchStem）以及训练方案对所得鲁棒性有显著影响。这些改动不仅在已见的 威胁模型下提升鲁棒性，更改善了向未见 攻击的泛化。我们改进的 ConvNeXt（ConvNeXt + ConvStem）在不同模型参数量与 FLOPs 范围内产生最鲁棒的 模型，而我们改进的 ViT + ConvStem 在对未见威胁模型的泛化上表现最佳。
引用
@article{arxiv.2303.01870,
title = {Revisiting Adversarial Training for ImageNet: Architectures, Training and Generalization across Threat Models},
author = {Naman D Singh and Francesco Croce and Matthias Hein},
journal= {arXiv preprint arXiv:2303.01870},
year = {2023}
}
备注
Accepted at NeurIPS 2023