面向实时性能的神经网络鲁棒感知2比特量化
机器学习
2020-10-23 v1
摘要
具有降低比特精度的量化神经网络（NN）是一种减少计算和内存资源需求的有效方案，并在机器学习中起着至关重要的作用。然而，由于其数值近似和较低的冗余度，避免显著的精度下降仍然具有挑战性。本文提出了一种基于二值神经网络和生成对抗网络（GAN）的新型鲁棒感知2比特量化方案，该方案通过丰富二值神经网络的信息、有效提取结构信息并考虑量化神经网络的鲁棒性来提升性能。具体而言，使用移位加法操作替代量化过程中的乘累加，从而有效加速神经网络。同时，提出了原始神经网络与量化神经网络之间的结构损失，以使数据的结构信息在量化后得以保留。从神经网络中学习到的结构信息不仅在提升性能方面起着重要作用，还允许通过将对结构损失施加Lipschitz约束来进一步微调量化网络。此外，我们还首次将量化神经网络的鲁棒性纳入考虑，并通过引入谱范数的额外项提出了非敏感扰动损失函数。实验在CIFAR-10和ImageNet数据集上使用流行的神经网络（如MobileNetV2、SqueezeNet、ResNet20等）进行。实验结果表明，所提算法在2比特精度下比最先进的量化方法更具竞争力。同时，实验结果也表明所提方法在FGSM对抗样本攻击下具有鲁棒性。
引用
@article{arxiv.2010.11271,
title = {Robustness-aware 2-bit quantization with real-time performance for neural network},
author = {Xiaobin Li and Hongxu Jiang and Shuangxi Huang and Fangzheng Tian},
journal= {arXiv preprint arXiv:2010.11271},
year = {2020}
}
备注
14 pages