在目标容量下发现鲁棒卷积架构：一种多-shot 方法
人工智能
2021-03-30 v3
摘要
卷积神经网络(CNNs)易受对抗样本攻击，研究表明增加架构拓扑的模型容量（如宽度扩展）可带来一致的鲁棒性提升。这揭示了架构设计中应考量的明确鲁棒性-效率权衡。本文考虑容量预算场景，旨在目标容量下发现对抗鲁棒架构。近期研究采用一次性神经架构搜索(NAS)发现鲁棒架构。然而，由于不同拓扑的容量在搜索过程中无法对齐，一次性 NAS 方法在超网中偏好具有更大容量的拓扑，且所发现拓扑在扩充至目标容量时可能次优。我们提出一种新颖的多-shot NAS 方法以解决该问题，并显式搜索目标容量下的鲁棒架构。在 2000M 目标 FLOPs 下，所发现的 MSRobNet-2000 在各种准则下以 4%–7% 的大幅优势超越近期 NAS 发现的架构 RobNet-large。在 1560M 目标 FLOPs 下，MSRobNet-1560 在干净与 PGD-7 准确率上分别超越另一 NAS 发现架构 RobNet-free 达 2.3% 与 1.3%。所有代码见 https://github.com/walkerning/aw\_nas。
引用
@article{arxiv.2012.11835,
title = {Discovering Robust Convolutional Architecture at Targeted Capacity: A Multi-Shot Approach},
author = {Xuefei Ning and Junbo Zhao and Wenshuo Li and Tianchen Zhao and Yin Zheng and Huazhong Yang and Yu Wang},
journal= {arXiv preprint arXiv:2012.11835},
year = {2021}
}
备注
9 pages, 9 pages appendices