PACT：用于量化神经网络的参数化截断激活
计算机视觉与模式识别
2018-07-18 v2 人工智能
摘要
深度学习算法以高昂的计算成本为代价实现了高分类精度。为解决该成本，已提出多种量化方案——但大多数技术侧重于量化权重，而权重相对于激活值而言规模较小。本文提出了一种训练期间激活值量化的新颖方案，使神经网络能够在超低精度权重和激活值下良好工作而无显著精度下降。该技术称为 PArameterized Clipping acTivation（PACT），使用在训练期间优化的激活截断参数 以找到合适的量化尺度。PACT 允许将激活值量化为任意位精度，同时相对于已发表的最先进量化方案实现更好的精度。我们首次表明，在一系列流行模型和数据集上，权重和激活值均可量化为 4 位精度，同时仍能达到与全精度网络相当的精度。我们还表明，在硬件中利用这些降低精度的计算单元可因加速器计算引擎面积的显著减少以及将量化模型和激活数据保留在片上存储器中的能力，实现推理性能超线性的提升。
引用
@article{arxiv.1805.06085,
title = {PACT: Parameterized Clipping Activation for Quantized Neural Networks},
author = {Jungwook Choi and Zhuo Wang and Swagath Venkataramani and Pierce I-Jen Chuang and Vijayalakshmi Srinivasan and Kailash Gopalakrishnan},
journal= {arXiv preprint arXiv:1805.06085},
year = {2018}
}