面向结构重参数化网络低位量化的离群值感知训练
计算机视觉与模式识别
2024-02-13 v1 机器学习
神经与进化计算
摘要
卷积神经网络 (CNN) 的轻量化设计需要在模型架构和压缩技术方面进行协同设计。作为一种分离训练和推理的新型设计范式，以代表性网络 RepVGG 为例的结构重参数化 (SR) 网络复兴了简单的类 VGG 网络，使其具有与先进且通常更复杂的网络相媲美的高精度。然而，SR 网络中的合并过程会在权重中引入离群值，使其分布有别于传统网络，从而增加了量化的难度。为了解决这个问题，我们提出了一种称为离群值感知批归一化 (OABN) 的算子级训练改进方法。此外，为了在有限位宽下满足需求同时保持推理精度，我们为量化感知训练 (QAT) 开发了一个基于聚类的非均匀量化框架，名为 ClusterQAT。将 OABN 与 ClusterQAT 相结合，RepVGG 的量化性能得到了大幅提升，尤其是在位宽低于 8 时。
引用
@article{arxiv.2402.07200,
title = {Outlier-Aware Training for Low-Bit Quantization of Structural Re-Parameterized Networks},
author = {Muqun Niu and Yuan Ren and Boyu Li and Chenchen Ding},
journal= {arXiv preprint arXiv:2402.07200},
year = {2024}
}
备注
8 pages, 8 figures