弥合 2 位量化神经网络（QNN）的精度差距
计算机视觉与模式识别
2018-07-19 v1
摘要
深度学习算法以巨大的计算成本为代价实现高分类精度。为降低该成本，近来若干量化方案受到关注，其中一些聚焦于权重量化，另一些聚焦于激活量化。本文提出分别针对权重和激活量化的新技术，从而得到整体的量化神经网络（QNN）。激活量化技术 PArameterized Clipping acTivation（PACT）使用一个在训练中优化的激活裁剪参数 以找到合适的量化尺度。权重量化方案 statistics-aware weight binning（SAWB）基于权重分布的统计特征找到最小化量化误差的最优缩放因子，而无需穷举搜索。PACT 与 SAWB 的结合产生了一个 2 位 QNN，其在一系列流行模型和数据集上实现了最先进的分类精度（可与全精度网络相媲美）。
引用
@article{arxiv.1807.06964,
title = {Bridging the Accuracy Gap for 2-bit Quantized Neural Networks (QNN)},
author = {Jungwook Choi and Pierce I-Jen Chuang and Zhuo Wang and Swagath Venkataramani and Vijayalakshmi Srinivasan and Kailash Gopalakrishnan},
journal= {arXiv preprint arXiv:1807.06964},
year = {2018}
}
备注
arXiv admin note: substantial text overlap with arXiv:1805.06085