CSMPQ：基于类可分性的混合精度量化
计算机视觉与模式识别
2022-12-21 v1
摘要
混合精度量化因其能够降低计算负担并加速推理时间而受到越来越多的关注。现有方法通常关注不同网络层的敏感性，这需要耗时的搜索或训练过程。为此，提出了一种新颖的混合精度量化方法，称为 CSMPQ。具体而言，引入了在自然语言处理（NLP）中广泛使用的 TF-IDF 度量来衡量逐层特征图的类可分性。此外，设计了一个线性规划问题以推导每层的最优比特配置。无需任何迭代过程，所提出的 CSMPQ 比最先进的量化方法实现了更好的压缩权衡。具体而言，CSMPQ 在 ResNet-18 上以仅 59G BOPs 的 QAT 达到 73.03 的 Top-1 准确率，并在 MobileNetV2 上以仅 1.5Mb 的 PTQ 达到 71.30 的 top-1 准确率。
引用
@article{arxiv.2212.10220,
title = {CSMPQ:Class Separability Based Mixed-Precision Quantization},
author = {Mingkai Wang and Taisong Jin and Miaohui Zhang and Zhengtao Yu},
journal= {arXiv preprint arXiv:2212.10220},
year = {2022}
}