可微搜索精确且鲁棒的架构
机器学习
2023-01-03 v2 人工智能
密码学与安全
摘要
深度神经网络（DNNs）被发现易受对抗攻击，已有多种防御方法被提出。其中，对抗训练因其简单性和有效性日益受到关注。然而，对抗训练的性能极大受限于目标DNN的架构，常导致所得DNN精度差且鲁棒性不理想。为解决该问题，我们提出DSARA，以自动搜索经对抗训练后精确且鲁棒的神经网络架构。具体而言，我们专为对抗训练设计了一种新颖的基于单元搜索空间，通过精心设计单元放置位置与滤波器数量比例关系，提升了搜索架构的精度与鲁棒性上界。随后我们提出两阶段搜索策略以搜索精确且鲁棒的神经网络架构。第一阶段优化架构参数以最小化对抗损失，充分利用对抗训练增强鲁棒性的有效性。第二阶段利用所提多目标对抗训练方法优化架构参数以同时最小化自然损失与对抗损失，使搜索的神经网络架构兼具精度与鲁棒性。我们在自然数据与多种对抗攻击下评估所提算法，揭示了该方法在精确与鲁棒架构方面的优越性。我们还得出结论：精确且鲁棒的神经网络架构倾向于在输入与输出附近部署差异很大的结构，这对精确鲁棒神经架构的手动设计与自动设计均具重要实践意义。
引用
@article{arxiv.2212.14049,
title = {Differentiable Search of Accurate and Robust Architectures},
author = {Yuwei Ou and Xiangning Xie and Shangce Gao and Yanan Sun and Kay Chen Tan and Jiancheng Lv},
journal= {arXiv preprint arXiv:2212.14049},
year = {2023}
}