QUANOS——基于对抗噪声敏感性的神经网络混合量化
机器学习
2020-06-30 v2 计算机视觉与模式识别
摘要
深度神经网络（DNNs）已被证明易受对抗攻击，即通过对输入施加微小扰动可使模型被欺骗。随着物联网的出现以及嵌入式设备中智能赋能的必要性，DNNs的低功耗且安全的硬件实现至关重要。本文中，我们研究利用量化来潜在抵御对抗攻击。若干近期研究报道了通过量化降低DNN能耗的显著结果。然而，此前尚无工作考量DNN的对抗敏感性与量化影响之间的关系。我们提出QUANOS——一种基于对抗噪声敏感性（ANS）执行层特定混合量化的框架。我们为DNNs确定了一种新颖的噪声稳定性度量（ANS），即各层计算对对抗噪声的敏感性。ANS提供了一种原则性方法，以确定每层的最优位宽，从而在精度损失最小的情况下获得对抗鲁棒性与能效。本质上，QUANOS依据各层对对抗扰动的贡献分配层重要性，并相应调整各层的精度。QUANOS的一个关键优势是它不依赖预训练模型，可应用于训练的初始阶段。我们在具有数据门控和子字并行能力、精度可伸缩的乘加（MAC）硬件架构上评估了QUANOS的益处。我们在CIFAR10、CIFAR100数据集上的实验表明，在同等精度下，QUANOS在对抗鲁棒性（高3%–4%）方面优于均匀量化的8位精度基线，同时实现了更高的压缩比（>5倍）与能耗节省（>2倍）。
引用
@article{arxiv.2004.11233,
title = {QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks},
author = {Priyadarshini Panda},
journal= {arXiv preprint arXiv:2004.11233},
year = {2020}
}
备注
Accepted in ACM/IEEE International Symposium on Low Power Electronics and Design (ISLPED), 2020