BRECQ：通过块重建推动训练后量化的极限
机器学习
2021-07-27 v2 计算机视觉与模式识别
摘要
我们研究了一项具有挑战性的任务：无需端到端重训练的神经网络量化，称为训练后量化（PTQ）。PTQ 通常需要一小部分训练数据，但产生的量化模型比量化感知训练（QAT）威力更弱。在本工作中，我们提出一种新颖的 PTQ 框架，称为 BRECQ，首次将 PTQ 的比特宽度极限推低至 INT2。BRECQ 利用神经网络中的基本构建块并逐一重建它们。在对二阶误差的全面理论研究中，我们表明 BRECQ 在跨层依赖与泛化误差之间取得了良好平衡。为了进一步发挥量化的威力，我们的框架通过近似层间与层内敏感度融入了混合精度技术。我们在图像分类和目标检测任务上对多种手工设计与搜索得到的神经架构进行了大量实验。并且我们首次证明，无需额外技巧，PTQ 能够获得与 QAT 相当的 4-bit ResNet 和 MobileNetV2，并享受量化模型生产速度快 240 倍的优势。代码见 https://github.com/yhhhli/BRECQ。
引用
@article{arxiv.2102.05426,
title = {BRECQ: Pushing the Limit of Post-Training Quantization by Block Reconstruction},
author = {Yuhang Li and Ruihao Gong and Xu Tan and Yang Yang and Peng Hu and Qi Zhang and Fengwei Yu and Wei Wang and Shi Gu},
journal= {arXiv preprint arXiv:2102.05426},
year = {2021}
}