FQ-Conv：用于高效准确推理的全量化卷积
机器学习
2019-12-20 v1 机器学习
摘要
深度神经网络（DNNs）可以通过降低网络权重和激活值的数值精度以及提高网络对噪声的鲁棒性来实现硬件高效。然而，这种效率上的提升往往以显著降低准确率为代价。在本文中，我们提出了一种量化卷积神经网络的新方法。所得到的网络在低精度下执行所有计算，无需更高精度的 BN（批归一化）和非线性函数，同时仍保持高准确率。为达成该结果，我们采用了一种新颖的量化技术，在训练过程中学习对网络的权重和激活值进行最优量化。此外，为增强训练收敛性，我们使用了一种称为渐进量化的新训练技术。我们利用量化函数的非线性和归一化特性，有效地去除了网络中更高精度的非线性函数和 BN。由此得到的卷积层从输入到输出被完全量化为低精度，非常适合于边缘端的神经网络加速器。我们在不同数据集和网络上展示了该方法的潜力，表明具有低精度输入和输出的三值权重 CNN 与其全精度对应网络性能几乎相当。最后，我们分析了噪声对权重、激活值和卷积输出（乘累加，MAC）的影响，并提出了一种在噪声条件下提升网络性能的策略。
引用
@article{arxiv.1912.09356,
title = {FQ-Conv: Fully Quantized Convolution for Efficient and Accurate Inference},
author = {Bram-Ernst Verhoef and Nathan Laubeuf and Stefan Cosemans and Peter Debacker and Ioannis Papistas and Arindam Mallik and Diederik Verkest},
journal= {arXiv preprint arXiv:1912.09356},
year = {2019}
}
备注
12 pages, 4 Figures, 7 Tables