低比特宽度量化对嵌入式神经网络对抗鲁棒性的影响
机器学习
2020-07-07 v2 机器学习
摘要
随着在嵌入式系统上部署神经网络模型的意愿增强，并考虑到相关的内存占用与能耗问题，寻找更轻量的神经网络存储方案（如权重量化）以及更高效的推理方法成为主要研究课题。与此同时，对抗机器学习近年来迅速兴起并受到显著关注，揭示了机器学习模型尤其是神经网络的一些关键缺陷。特别地，被称为对抗样本的扰动输入已被证明能够欺骗模型做出错误预测。在本文中，我们研究了在经典监督图像分类任务下，量化神经网络在不同威胁模型中的对抗鲁棒性。我们表明量化并未提供任何鲁棒的保护，导致了严重形式的梯度掩蔽，并提出了一些假设加以解释。然而，我们通过实验观察到较差的可迁移性能力，并用量化值偏移现象与梯度错位加以解释，并探索了如何利用这些结果构建基于集成的防御。
引用
@article{arxiv.1909.12741,
title = {Impact of Low-bitwidth Quantization on the Adversarial Robustness for Embedded Neural Networks},
author = {Rémi Bernhard and Pierre-Alain Moellic and Jean-Max Dutertre},
journal= {arXiv preprint arXiv:1909.12741},
year = {2020}
}