权重均衡移位缩放器耦合的训练后量化
机器学习
2020-08-14 v1 计算机视觉与模式识别
机器学习
摘要
训练后逐层量化更受青睐，因为它无需重训练且对硬件友好。然而，当神经网络模型各输出通道的权重范围差异较大时，会出现精度下降。特别是，MobileNet系列在ImageNet数据集上经8位权重量化后，top-1精度从70.60% ~ 71.87%急剧跌至0.1%。为缓解这一显著的精度损失，我们提出一种新的权重均衡移位缩放器，即在逐层量化之前，通过4位二进制移位对各通道权重范围进行重缩放。为恢复原始输出范围，逆二进制移位被高效地融合到定制神经处理单元中固定计算卷积算子的现有逐层尺度复合中。二进制移位是我们的算法的关键特征，其在不增加内存占用的前提下显著提升了精度表现。结果，我们所提方法在MobileNets上取得了69.78% ~ 70.96%的top-1精度，并在不同网络模型与任务中表现出鲁棒性能，可与逐通道量化结果相媲美。
引用
@article{arxiv.2008.05767,
title = {Weight Equalizing Shift Scaler-Coupled Post-training Quantization},
author = {Jihun Oh and SangJeong Lee and Meejeong Park and Pooni Walagaurav and Kiseok Kwon},
journal= {arXiv preprint arXiv:2008.05767},
year = {2020}
}
备注
9 pages, 4 figures, 4 tables