重新审视残差网络在对抗鲁棒性中的作用:一种架构视角
计算机视觉与模式识别
2022-12-22 v1 人工智能
密码学与安全
机器学习
摘要
改进卷积神经网络对抗鲁棒性的努力主要集中于开发更有效的对抗训练方法。相比之下,很少有关注分析架构要素(如拓扑、深度和宽度)对对抗鲁棒性作用的研究。本文旨在弥补这一差距,并对架构设计对抗鲁棒性的影响进行整体性研究。我们聚焦于残差网络,并在块级别(即拓扑、核大小、激活和归一化)以及网络缩放级别(即网络中每个块的深度和宽度)考虑架构设计。在这两种情况下,我们首先通过系统性消融实验获得见解。然后我们设计了一个鲁棒残差块,称为 RobustResBlock,以及一种复合缩放规则,称为 RobustScaling,以在期望的 FLOP 数量下分配深度和宽度。最后,我们结合 RobustResBlock 和 RobustScaling,提出了一系列对抗鲁棒残差网络 RobustResNets,涵盖广泛的模型容量范围。在多个数据集和对抗攻击上的实验验证表明,RobustResNets 始终优于标准 WRN 和其他现有鲁棒架构,在无需额外数据时实现了 61.1% 的 SOTA AutoAttack 鲁棒准确率,在使用 500K 外部数据时达到 63.7%,同时参数量紧凑 。代码见 \url{ https://github.com/zhichao-lu/robust-residual-network}
引用
@article{arxiv.2212.11005,
title = {Revisiting Residual Networks for Adversarial Robustness: An Architectural Perspective},
author = {Shihua Huang and Zhichao Lu and Kalyanmoy Deb and Vishnu Naresh Boddeti},
journal= {arXiv preprint arXiv:2212.11005},
year = {2022}
}