防御性量化：当效率遇见鲁棒性
机器学习
2019-04-19 v1 计算机视觉与模式识别
机器学习
摘要
神经网络量化正成为在CPU、GPU、TPU和FPGA等硬件平台上高效部署深度学习模型的行业标准。然而，我们观察到传统的量化方法易受对抗攻击。本文旨在提高人们对量化模型安全性的认识，并设计了一种新颖的量化方法，以联合优化深度学习模型的效率与鲁棒性。我们首先进行了一项实证研究，表明朴素量化更易受对抗攻击的影响。我们观察到其较差的鲁棒性源于误差放大效应，即量化操作进一步放大了由放大噪声引起的距离。随后我们提出了一种新颖的防御性量化（DQ）方法，通过在量化过程中控制网络的Lipschitz常数，使得对抗噪声的幅值在推理期间保持非扩张。在CIFAR-10和SVHN数据集上的大量实验表明，我们的新量化方法能够防御神经网络免受对抗样本攻击，甚至在保持与朴素量化方法相同硬件效率的同时，实现了优于其全精度对应模型的鲁棒性。作为副产物，DQ还能在无对抗攻击的情况下提升量化模型的精度。
引用
@article{arxiv.1904.08444,
title = {Defensive Quantization: When Efficiency Meets Robustness},
author = {Ji Lin and Chuang Gan and Song Han},
journal= {arXiv preprint arXiv:1904.08444},
year = {2019}
}