从神经架构搜索视角看对抗鲁棒性
机器学习
2021-08-27 v4 密码学与安全
计算机视觉与模式识别
机器学习
摘要
深度学习模型的对抗鲁棒性在过去几年获得了大量关注。人们提出各种攻击与防御以提升现代深度学习架构的对抗鲁棒性。尽管所有这些方法有助于提升鲁棒性，一个用于改善对抗鲁棒性的有前景方向尚未被探索，即神经网络架构的复杂拓扑。本工作中，我们探讨如下问题：神经网络的复杂拓扑能否在无需任何形式对抗训练的情况下给出对抗鲁棒性？我们通过实验不同手工设计与基于 NAS 的架构对此进行实证回答。我们的发现表明，对于小规模攻击，在小型数据集与简单任务上基于 NAS 的架构比手工设计架构更鲁棒。然而，随着数据集规模或任务复杂度增加，手工设计架构比基于 NAS 的架构更鲁棒。我们的工作是首个从纯架构视角理解对抗鲁棒性的大规模研究。我们的研究显示，在 DARTS（一种流行 NAS 方法）的搜索空间中随机采样配合简单集成，可将对 PGD 攻击的鲁棒性提升近 12%。我们表明，常用于取得 SoTA 精度的 NAS 能够作为免费附加项提供对抗精度而无需任何形式对抗训练。我们的结果表明，利用 NAS 方法的搜索空间配合如集成等方法，可成为在无任何对抗训练形式下实现对抗鲁棒性的极佳途径。我们还引入一个可用于计算干净精度与对抗鲁棒性之间权衡的度量。代码与预训练模型将发布于 \url{https://github.com/tdchaitanya/nas-robustness}
引用
@article{arxiv.2007.08428,
title = {On Adversarial Robustness: A Neural Architecture Search perspective},
author = {Chaitanya Devaguptapu and Devansh Agarwal and Gaurav Mittal and Pulkit Gopalani and Vineeth N Balasubramanian},
journal= {arXiv preprint arXiv:2007.08428},
year = {2021}
}
备注
Accepted at the Workshop on Adversarial Robustness in Real-World, ICCV-2021 (previous version accepted at four ICLR-21 Workshops)