利用离群通道拆分在不重训练情况下改进神经网络量化
机器学习
2019-05-24 v3 机器学习
摘要
量化可改善神经网络在商用 GPU 与专用加速器上的执行延迟与能效。现有文献多数聚焦于训练量化 DNN，而本工作考察了较少被研究的课题：在不（重新）训练的情况下量化浮点模型。DNN 权重与激活在训练后呈钟形分布，而实际硬件使用线性量化网格。这导致处理分布中离群值的困难。先前工作通过裁剪离群值或使用专用硬件来解决。本工作中，我们提出离群通道拆分（OCS），其复制含离群值的通道，再将通道值减半。网络在功能上保持完全一致，但受影响的离群值被移向分布中心。OCS 无需额外训练且适用于商用硬件。在 ImageNet 分类与语言建模上的实验评估表明，OCS 仅以微小开销即可优于最先进的裁剪技术。
引用
@article{arxiv.1901.09504,
title = {Improving Neural Network Quantization without Retraining using Outlier Channel Splitting},
author = {Ritchie Zhao and Yuwei Hu and Jordan Dotzel and Christopher De Sa and Zhiru Zhang},
journal= {arXiv preprint arXiv:1901.09504},
year = {2019}
}
备注
10 pages; update to ICML camera-ready version