面向超低精度量化的精度高速公路
计算机视觉与模式识别
2018-12-27 v1
摘要
神经网络量化存在一个称为累积量化误差的固有难题，这是迈向超低精度（例如2或3比特精度）的关键障碍。为解决该问题，我们提出精度高速公路，其在执行超低精度计算的同时形成端到端的高精度信息流。首先，我们阐述了精度高速公路如何在卷积神经网络和循环神经网络中减少累积量化误差。我们还提供了精度高速公路收益的定量分析，并评估了在最先进硬件加速器上的开销。在实验中，我们提出的方法优于现有最佳量化方法，在ResNet-50上实现了3比特权重/激活量化且无精度损失，以及2比特量化且仅2.45%的top-1精度损失。我们还报告了该提出方法在用于语言建模的LSTM的2比特量化中显著优于现有方法。
引用
@article{arxiv.1812.09818,
title = {Precision Highway for Ultra Low-Precision Quantization},
author = {Eunhyeok Park and Dongyoung Kim and Sungjoo Yoo and Peter Vajda},
journal= {arXiv preprint arXiv:1812.09818},
year = {2018}
}