通过基于区域的分类缓解深度神经网络的规避攻击
密码学与安全
2020-01-01 v4 机器学习
机器学习
摘要
深度神经网络（DNNs）已经改变了包括计算机视觉、语音识别和自然语言处理在内的几个人工智能研究领域。然而，最近的研究表明，DNNs 在测试时容易受到对抗性操纵的攻击。具体来说，假设我们有一个测试样本，其标签可以被 DNN 分类器正确预测。攻击者可以向测试样本添加少量精心设计的噪声，使得 DNN 分类器预测出错误的标签，其中精心制作的测试样本被称为对抗样本。此类攻击被称为规避攻击。规避攻击是在自动驾驶汽车等安全和安保关键应用中部署 DNNs 的最大挑战之一。在这项工作中，我们开发了防御规避攻击的新方法。我们的关键观察是对抗样本靠近分类边界。因此，我们提出基于区域的分类以对对抗样本具有鲁棒性。对于良性/对抗性测试样本，我们集成以该样本为中心的超立方体中的信息来预测其标签。相反，传统的分类器是基于点的分类，即给定一个测试样本，分类器仅根据该测试样本本身来预测其标签。我们在 MNIST 和 CIFAR-10 数据集上的评估结果表明，我们的基于区域的分类可以显著缓解规避攻击，同时不牺牲在良性样本上的分类准确率。具体来说，我们的基于区域的分类在测试良性样本上实现了与基于点的分类相同的分类准确率，但我们的基于区域的分类对各种规避攻击的鲁棒性显著高于基于点的分类。
引用
@article{arxiv.1709.05583,
title = {Mitigating Evasion Attacks to Deep Neural Networks via Region-based Classification},
author = {Xiaoyu Cao and Neil Zhenqiang Gong},
journal= {arXiv preprint arXiv:1709.05583},
year = {2020}
}
备注
33rd Annual Computer Security Applications Conference (ACSAC), 2017