一模型适配所有量化位宽：支持热插拔位宽调整的量化网络
计算机视觉与模式识别
2021-05-05 v1
摘要
作为在边缘设备上实现深度神经网络的有效技术，模型量化已成功应用于许多实际场景。无论是量化感知训练（QAT）还是训练后量化（PTQ）方法，都依赖于目标位宽。当量化精度需要调整时，必须对量化模型进行微调或最小化量化噪声，这给实际应用带来不便。在本工作中，我们提出一种面向所有量化的模型训练方法，支持多样位宽（例如从8-bit到1-bit），以满足在线量化位宽调整。该模型可热插拔，通过多尺度量化为不同候选提供特定量化策略。我们利用小波分解与重构增加权重的多样性，从而显著提升各量化候选的性能，尤其在超低比特位宽（如3-bit、2-bit和1-bit）下。在ImageNet和COCO上的实验结果表明，我们的方法能达到与相同精度下专门训练的模型相当的精度性能。
引用
@article{arxiv.2105.01353,
title = {One Model for All Quantization: A Quantized Network Supporting Hot-Swap Bit-Width Adjustment},
author = {Qigong Sun and Xiufang Li and Yan Ren and Zhongjian Huang and Xu Liu and Licheng Jiao and Fang Liu},
journal= {arXiv preprint arXiv:2105.01353},
year = {2021}
}