PTQ-SL：探索子层粒度训练后量化
计算机视觉与模式识别
2021-10-19 v2 机器学习
摘要
网络量化是压缩卷积神经网络的一项强大技术。量化粒度决定了权重中缩放因子的共享方式，进而影响网络量化的性能。现有方法大多在卷积层量化时采用逐层或逐通道共享缩放因子。逐通道量化和逐层量化已广泛应用于各类场景，但其他量化粒度却鲜有探索。本文中，我们将探索跨多个输入和输出通道共享缩放因子的子层粒度。我们提出了一种高效的子层粒度训练后量化方法（PTQ-SL）。随后，我们系统性地对不同粒度进行实验，观察到量化后神经网络的预测精度与粒度之间存在强相关性。此外，我们发现调整通道位置可以提升子层量化的性能。为此，我们提出了一种针对子层量化的通道重排序方法。实验表明，结合适当的通道重排序，子层量化可以超越逐通道量化的性能。
引用
@article{arxiv.2110.07809,
title = {PTQ-SL: Exploring the Sub-layerwise Post-training Quantization},
author = {Zhihang Yuan and Yiqi Chen and Chenhao Xue and Chenguang Zhang and Qiankun Wang and Guangyu Sun},
journal= {arXiv preprint arXiv:2110.07809},
year = {2021}
}