当NAS遇上鲁棒性：寻找抵御对抗攻击的鲁棒架构
机器学习
2020-03-27 v3 密码学与安全
计算机视觉与模式识别
机器学习
摘要
近期对抗攻击方面的进展揭示了现代深度神经网络的内在脆弱性。自那时起，大量工作致力于通过专门的学习算法和损失函数增强深度网络的鲁棒性。在本工作中，我们从架构视角出发，研究对对抗攻击具有韧性的网络架构模式。为获得本研究所需的大量网络，我们采用一次性神经架构搜索（neural architecture search, NAS），对一个大网络训练一次，然后对其采样的子网络进行微调。采样得到的架构及其达到的准确率为我们研究提供了丰富基础。我们的“鲁棒架构探索之旅”揭示了若干有价值的观察：1）密集连接模式带来鲁棒性提升；2）在计算预算下，向直接连接边添加卷积操作是有效的；3）解流程（flow of solution procedure, FSP）矩阵是网络鲁棒性的良好指示器。基于这些观察，我们发现了一系列鲁棒架构（RobNets）。在包括CIFAR、SVHN、Tiny-ImageNet和ImageNet在内的多个数据集上，RobNets相较于其他广泛使用的架构展现出优越的鲁棒性表现。值得注意的是，即使在参数更少的情况下，RobNets在白盒和黑盒攻击下也大幅提升了鲁棒准确率（约5%绝对增益）。代码见 https://github.com/gmh14/RobNets。
引用
@article{arxiv.1911.10695,
title = {When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks},
author = {Minghao Guo and Yuzhe Yang and Rui Xu and Ziwei Liu and Dahua Lin},
journal= {arXiv preprint arXiv:1911.10695},
year = {2020}
}
备注
CVPR 2020. First two authors contributed equally