利用深度量化神经网络提升对抗攻击的鲁棒性
机器学习
2023-04-26 v1 密码学与安全
性能
摘要
减小机器学习（ML）模型尤其是深度神经网络（DNNs）的内存占用，对于使其部署到资源受限的微型设备至关重要。然而，DNN 模型的一个缺点是它们易受对抗攻击，因为可通过向输入添加微小扰动来欺骗它们。因此，挑战在于如何创建可部署于资源受限嵌入式设备的准确、鲁棒且微小的 DNN 模型。本文报告了设计一种对对抗性黑盒与白盒攻击鲁棒的微小 DNN 模型的结果，该模型使用自动量化感知训练框架即 QKeras 训练，在训练循环中考虑了深度量化损失，从而使所设计的 DNN 在微型设备上部署时更准确。我们研究了 QKeras 与一种对抗鲁棒性技术 Jacobian Regularization（JR）如何通过利用 DNN 拓扑和逐层 JR 方法提供协同优化策略，以产生鲁棒且微小的深度量化 DNN 模型。据此，我们构思、开发并测试了一种实现该协同优化策略的新 DNN 模型，在包含图像与音频输入的三个数据集上进行了测试，并将其在各种白盒与黑盒攻击下的性能与现有基准进行了比较。实验结果表明，在 CIFAR-10 图像数据集和 Google Speech Commands 音频数据集的一个子集上分别存在白盒和黑盒攻击时，我们提出的 DNN 模型平均比 MLCommons/Tiny 基准的准确率高 8.3% 和 79.5%。在 SVHN 图像数据集上针对黑盒攻击也高出 6.5%。
引用
@article{arxiv.2304.12829,
title = {Improving Robustness Against Adversarial Attacks with Deeply Quantized Neural Networks},
author = {Ferheen Ayaz and Idris Zakariyya and José Cano and Sye Loong Keoh and Jeremy Singer and Danilo Pau and Mounia Kharbouche-Harrari},
journal= {arXiv preprint arXiv:2304.12829},
year = {2023}
}
备注
Accepted at IJCNN 2023. 8 pages, 5 figures