抗对抗攻击的深度量化微型神经网络定量分析
机器学习
2025-03-13 v1 密码学与安全
性能
摘要
降低机器学习（ML）模型，尤其是深度神经网络（DNN）的内存占用，对于促进其在资源受限的边缘设备上部署至关重要。然而，DNN模型的一个显著缺陷在于其易受对抗攻击欺骗，即微小的输入扰动即可使其产生误判。一个主要挑战在于开发准确、鲁棒且紧凑的DNN模型，以适合部署在资源受限的边缘设备上。本文展示了一种紧凑DNN模型的结果，该模型对黑盒和白盒对抗攻击均表现出鲁棒性。本研究通过QKeras量化感知训练框架进行训练，实现了这种鲁棒性。该研究探索了QKeras与一种对抗鲁棒性技术——雅可比正则化（JR）的潜力，通过逐层JR方法共同优化DNN架构。因此，本文设计了一种基于随机三值量化（STQ）并采用此共同优化策略的DNN模型。在面临各种白盒和黑盒攻击时，将其性能与现有DNN模型进行了比较。实验结果表明，所提出的DNN模型占用空间小，并且在CIFAR-10图像和Google Speech Commands音频数据集上分别面对白盒和黑盒攻击时，其平均表现优于Quanos和DS-CNN MLCommons/TinyML（MLC/T）基准。
引用
@article{arxiv.2503.08973,
title = {Quantitative Analysis of Deeply Quantized Tiny Neural Networks Robust to Adversarial Attacks},
author = {Idris Zakariyya and Ferheen Ayaz and Mounia Kharbouche-Harrari and Jeremy Singer and Sye Loong Keoh and Danilo Pau and José Cano},
journal= {arXiv preprint arXiv:2503.08973},
year = {2025}
}
备注
arXiv admin note: substantial text overlap with arXiv:2304.12829