OverQ：面向神经网络加速器的机会式离群值量化
机器学习
2021-05-28 v2 机器学习
摘要
权重和激活值中的离群值对神经网络的定点量化构成了关键挑战。虽然可以通过微调来解决，但对于通常接收不带训练数据的客户模型的机器学习服务提供商（例如 Google 或 Microsoft）而言，这并不实用。用于处理激活离群值的专用硬件能够支持低精度神经网络，但代价是相当大的面积开销。我们转而提出覆写量化（OverQ），这是一种轻量级硬件技术，通过覆写邻近的零来机会式地增加激活离群值的位宽。它有两种主要操作模式：范围覆写和精度覆写。范围覆写重新分配比特以增大离群值的表示范围，而精度覆写复用零以提高非离群值的精度。将范围覆写与简单的级联逻辑相结合，我们处理了绝大多数离群值，从而在低位宽下显著提升模型精度。我们的实验表明，在适度级联下，我们可以稳定处理超过 90% 的离群值，并在 4 位量化的 ResNet-50 上实现 ImageNet Top-1 准确率提升 5%。我们的 ASIC 原型表明，OverQ 可以高效地实现在现有的权重驻留 systolic arrays 之上，每个处理单元的面积增加很小。我们设想该技术可补充现代 DNN 加速器设计，以微不足道的面积开销带来精度的微小提升。
引用
@article{arxiv.1910.06909,
title = {OverQ: Opportunistic Outlier Quantization for Neural Network Accelerators},
author = {Ritchie Zhao and Jordan Dotzel and Zhanqiu Hu and Preslav Ivanov and Christopher De Sa and Zhiru Zhang},
journal= {arXiv preprint arXiv:1910.06909},
year = {2021}
}
备注
Preprint, work in progress. 8 pages