QDrop：用于极低位训练后量化的随机丢弃量化
计算机视觉与模式识别
2023-02-22 v2 人工智能
摘要
近来，训练后量化（PTQ）因无需长时间重训练即可生成高效神经网络而备受关注。尽管成本低廉，当前 PTQ 工作在极低位设定下往往失效。本研究率先确认将激活量化恰当纳入 PTQ 重建有益于最终精度。为深入理解内在原因，我们建立理论框架，表明优化后的低位模型在校准与测试数据上的平坦性至关重要。基于该结论，提出一种简单而有效的方法 QDROP，在 PTQ 期间随机丢弃激活的量化。在计算机视觉（图像分类、目标检测）与自然语言处理（文本分类与问答）等多项任务上的大量实验证明了其优越性。借助 QDROP，PTQ 的极限首次推进至 2-bit 激活，精度提升可达 51.49%。无需额外技巧，QDROP 确立了 PTQ 的新 SOTA。我们的代码见 https://github.com/wimh966/QDrop，并已集成至 MQBench (https://github.com/ModelTC/MQBench)
引用
@article{arxiv.2203.05740,
title = {QDrop: Randomly Dropping Quantization for Extremely Low-bit Post-Training Quantization},
author = {Xiuying Wei and Ruihao Gong and Yuhang Li and Xianglong Liu and Fengwei Yu},
journal= {arXiv preprint arXiv:2203.05740},
year = {2023}
}
备注
Accepted by ICLR 2022