加性二幂次量化：一种用于神经网络的高效非均匀离散化方法
机器学习
2020-02-04 v2 机器学习
摘要
我们提出 Additive Powers-of-Two (APoT，加性二幂次) 量化，一种针对神经网络中权重与激活值的钟形、长尾分布的高效非均匀量化方案。通过将所有量化电平约束为二幂次项之和，APoT 量化兼具高计算效率且与权重分布良好匹配。我们对截断函数施加简单的重参数化，以生成定义更良好的梯度用于学习截断阈值。此外，提出权重归一化以优化权重分布，使训练更稳定一致。实验结果表明，我们所提方法优于当前最优方法，甚至可与全精度模型竞争，证明了 APoT 量化的有效性。例如，我们在 ImageNet 上的 4-bit 量化 ResNet-50 无需额外技巧即达到 76.6% 的 top-1 准确率；同时，与均匀量化对应模型相比，我们的模型降低了 22% 的计算成本。代码见 https://github.com/yhhhli/APoT_Quantization。
引用
@article{arxiv.1909.13144,
title = {Additive Powers-of-Two Quantization: An Efficient Non-uniform Discretization for Neural Networks},
author = {Yuhang Li and Xin Dong and Wei Wang},
journal= {arXiv preprint arXiv:1909.13144},
year = {2020}
}
备注
quantization, efficient neural network