有效、高效且鲁棒的神经网络架构搜索
机器学习
2020-11-20 v1 神经与进化计算
摘要
对抗攻击的最新进展显示了由神经网络架构搜索（NAS）搜索出的深度神经网络的脆弱性。尽管 NAS 方法能够找到具有最优性能的网络架构，但 NAS 中常忽略对抗鲁棒性和资源约束。为解决该问题，我们提出了一种有效、高效且鲁棒的神经网络架构搜索（E2RNAS）方法，通过综合考虑性能、鲁棒性和资源约束来搜索神经网络架构。所提出的 E2RNAS 方法的目标函数被表述为一个双层多目标优化问题，其上层问题为一个多目标优化问题，这与现有 NAS 方法不同。为求解所提出的目标函数，我们将被广泛研究的基于梯度的多目标优化算法——多梯度下降算法与双层优化相集成。在基准数据集上的实验表明，所提出的 E2RNAS 方法能够找到具有优化模型大小和可比分类精度的对抗鲁棒架构。
引用
@article{arxiv.2011.09820,
title = {Effective, Efficient and Robust Neural Architecture Search},
author = {Zhixiong Yue and Baijiong Lin and Xiaonan Huang and Yu Zhang},
journal= {arXiv preprint arXiv:2011.09820},
year = {2020}
}