面向微型网络的对抗式多目标一次性神经架构搜索
机器学习
2022-01-11 v2 人工智能
密码学与安全
计算机视觉与模式识别
摘要
由于有限的计算成本和能耗，部署在移动设备上的大多数神经网络模型都是微型的。然而，微型神经网络通常极易受到攻击。现有研究已证明较大的模型规模可提升鲁棒性，但鲜有研究关注如何增强微型神经网络的鲁棒性。我们的工作聚焦于如何在移动级资源下提升微型神经网络的鲁棒性，且不严重损害干净准确率。为此，我们提出一种多目标一次性网络架构搜索（NAS）算法，以在对抗准确率、干净准确率和模型规模方面获得最佳权衡网络。具体而言，我们基于新型微型模块和通道设计了一种新颖的搜索空间，以平衡模型规模与对抗性能。此外，由于超网在我们的NAS算法中显著影响子网络性能，我们揭示了超网如何帮助在白盒对抗攻击下获得最佳子网络的见解。具体地，我们通过分析对抗可迁移性、超网宽度以及从零训练子网络与微调之间的差异，探索了一种新的对抗训练范式。最后，我们对第一非支配前沿上特定模块与通道的逐层组合进行了统计分析，可作为设计抗对抗扰动微型神经网络架构的指南。
引用
@article{arxiv.2103.00363,
title = {Tiny Adversarial Mulit-Objective Oneshot Neural Architecture Search},
author = {Guoyang Xie and Jinbao Wang and Guo Yu and Feng Zheng and Yaochu Jin},
journal= {arXiv preprint arXiv:2103.00363},
year = {2022}
}