感知在环的对抗样本

我们提出了一种可扩展的、黑盒的、感知在环技术，用于寻找深度神经网络分类器的对抗样本。黑盒是指我们的过程仅具有对分类器的输入输出访问权限，而不能访问内部结构、参数或中间置信度值。感知在环是指输入之间的邻近性概念可直接由人类参与者查询，而非使用任意选择的度量。我们的技术基于协方差矩阵适应进化策略（CMA-ES），一种黑盒优化方法。CMA-ES 以黑盒方式迭代地探索搜索空间：根据分布生成候选种群，依据代价函数挑选最佳候选，并更新后验分布以偏好最佳候选。我们运行 CMA-ES，利用人类参与者提供适应度函数，其洞见在于 CMA-ES 中最佳候选的选择可自然建模为一项感知任务：挑选出与固定输入在感知上最接近的 top $k$ 个输入。我们凭经验证明，使用小种群和少次迭代即可找到对抗样本。我们将 CMA-ES 在 MNIST 基准上使用 $L_p$ 范数作为代价函数与其他黑盒方法的性能进行比较，表明其在寻找对抗样本的成功率以及最小化原始输入与对抗输入之间的距离方面均表现良好。在 MNIST、CIFAR10 和 GTSRB 基准的实验中，我们证明当使用感知在环时，CMA-ES 能以少量迭代和小种群规模找到感知相似的对抗输入。最后，我们表明专门训练为对 $L_\infty$ 范数鲁棒的网络仍可能易受感知相似的对抗样本的影响。