面向通用对抗鲁棒性的强化压缩神经架构搜索

先前针对对抗鲁棒性的神经架构搜索工作发现，一个轻量级且具有对抗鲁棒性的神经网络架构可能存在于一个非鲁棒的大型教师网络中，这通常是通过统计分析和神经架构搜索的启发式规则揭示的。然而，启发式方法无法统一处理不同的对抗攻击和“教师”网络容量。为解决这一挑战，我们提出了一种面向通用对抗鲁棒性的强化压缩神经架构搜索。具体来说，我们定义了由数据集、对抗攻击和教师网络信息组成的任务设置。针对不同的任务，我们采用了一种新颖的双层训练范式，包括元训练和微调阶段，以有效地让强化学习智能体暴露于多样的攻击场景中（在元训练阶段），并使其能够快速适应，为任何未见过的场景定位子网络（在微调阶段）。实验表明，我们的框架能够针对不同的初始教师网络、数据集和对抗攻击实现自适应压缩，从而产生更轻量级且具有对抗鲁棒性的架构。