感知损失的训练后量化
机器学习
2020-03-17 v2 计算机视觉与模式识别
摘要
神经网络量化使得大型模型能够部署于资源受限设备。当前训练后量化方法在 INT4（或更低）精度下准确性不足，但在 INT8（或更高）下提供合理准确性。本工作中，我们研究量化对损失景观结构的影响。此外，我们表明对于温和量化，该结构是平坦且可分离的，使得直接的训练后量化方法能取得良好结果。我们表明在更激进的量化下，损失景观变得高度不可分离且曲率陡峭，使量化参数的选择更具挑战性。基于这一认识，我们设计了一种联合量化层参数的方法，相较当前训练后量化方法实现了显著的准确性提升。参考实现见 https://github.com/ynahshan/nn-quantization-pytorch/tree/master/lapq
引用
@article{arxiv.1911.07190,
title = {Loss Aware Post-training Quantization},
author = {Yury Nahshan and Brian Chmiel and Chaim Baskin and Evgenii Zheltonozhskii and Ron Banner and Alex M. Bronstein and Avi Mendelson},
journal= {arXiv preprint arXiv:1911.07190},
year = {2020}
}