以偏置对抗量化偏置
机器学习
2019-06-10 v1 机器学习
摘要
深度神经网络（DNN）的低精度表示对于在嵌入式平台上高效部署深度学习应用至关重要，然而将网络转换为低精度会降低其性能。关键的是，为嵌入式应用设计的网络通常因冗余较少而遭受更严重的性能下降。这一点在普遍存在的MobileNet架构上最为明显，当其量化为8位时，需要代价高昂的量化感知训练周期才能达到可接受的性能。在本文中，我们将MobileNets中性能下降的根源追溯为平均激活值的偏移。该偏移由量化过程中固有的偏置引起，并在各层间累积，使所有网络统计量偏离所学分布。我们表明此现象也发生于其他架构中。我们提出一种简单补救方法——通过向每个通道的加性偏置项添加一个常数来补偿量化引起的偏移。我们开发了两种估计校正常数的简单方法——一种使用量化网络的迭代评估，另一种通过短期训练阶段设定常数。两种方法均快速且仅需少量无标签数据，使其利于神经网络的快速部署。使用上述方法，我们得以以极小代价匹配基于训练的MobileNets量化的性能。
引用
@article{arxiv.1906.03193,
title = {Fighting Quantization Bias With Bias},
author = {Alexander Finkelstein and Uri Almog and Mark Grobman},
journal= {arXiv preprint arXiv:1906.03193},
year = {2019}
}
备注
Accepted to ECV workshop at CVPR2019