RobustART：面向架构设计与训练技术的鲁棒性基准测试
计算机视觉与模式识别
2022-01-17 v4
摘要
深度神经网络（DNNs）易受对抗噪声攻击，这催生了模型鲁棒性的基准测试需求。现有基准主要关注防御方法的评估，但关于架构设计与训练技术如何影响鲁棒性尚缺乏综合研究。全面基准化它们之间的关系有助于更好地理解和开发鲁棒的 DNNs。为此，我们提出 RobustART，首个在 ImageNet 上关于架构设计（49 种人工设计的现成架构和来自神经架构搜索的 1200+ 网络）与训练技术（10+ 种技术，如数据增强）面向多种噪声（对抗噪声、自然噪声和系统噪声）的鲁棒性综合研究基准。大量实验首次证实了若干见解，例如：（1）对抗训练对 Transformers 和 MLP-Mixers 抵御所有类型噪声的鲁棒性均有效；（2）在模型规模相当且训练设置对齐的条件下，针对自然与系统噪声的鲁棒性为 CNNs > Transformers > MLP-Mixers，而对抗鲁棒性为 Transformers > MLP-Mixers > CNNs；（3）对于某些轻量级架构，增大模型规模或使用额外数据无法提升鲁棒性。我们的基准提供：（1）一个用于综合鲁棒性评估的开源平台；（2）多种预训练模型以方便鲁棒性评估；（3）更好理解鲁棒 DNNs 设计机制的新视角。我们将持续为社区完善该生态系统。
引用
@article{arxiv.2109.05211,
title = {RobustART: Benchmarking Robustness on Architecture Design and Training Techniques},
author = {Shiyu Tang and Ruihao Gong and Yan Wang and Aishan Liu and Jiakai Wang and Xinyun Chen and Fengwei Yu and Xianglong Liu and Dawn Song and Alan Yuille and Philip H. S. Torr and Dacheng Tao},
journal= {arXiv preprint arXiv:2109.05211},
year = {2022}
}